Промты для анализа клиентских отзывов и sentiment-анализа
Классический sentiment-анализ отвечает на вопрос, которого никто не задавал. Вы узнаёте, что 72% отзывов положительные. И дальше что? Решения из этого числа не следует никакого. Полезные вопросы другие: из-за чего люди недовольны, как часто повторяется каждая причина и что они пытались сделать, когда столкнулись с проблемой.
Шаг 1. Кодирование без готового списка тем
Сначала пусть модель сама найдёт темы — иначе вы получите ровно те категории, которые придумали заранее, и пропустите главное.
Ниже 100 отзывов о [продукт]. Прочитай их и выдели темы, которые встречаются больше трёх раз. Тему формулируй как проблему или ситуацию клиента, а не как раздел («долгая доставка в регионы», а не «логистика»). Для каждой темы: сколько отзывов, 2 дословные цитаты, доля негативных. Отдельным списком — отзывы, которые не попали ни в одну тему. ОТЗЫВЫ: [вставить]
Список непопавших — самое интересное место. Там обычно сидят редкие, но дорогие проблемы.
Шаг 2. Фиксация словаря
После первого прохода вы получили темы. Теперь их надо заморозить, иначе на следующей сотне отзывов модель придумает новые формулировки, и сравнить периоды будет невозможно.
Вот фиксированный список тем: [перечислить]. Размечай отзывы только этими темами. Новых не создавай. Один отзыв может получить несколько тем или ни одной. Если отзыв не подходит ни к одной — отправляй в «прочее» и приводи целиком. Формат: номер отзыва; темы; тональность по теме; ключевая цитата.
Шаг 3. То, ради чего всё затевалось
По размеченным отзывам ответь: 1. Какие три проблемы стоят компании больше всего — оцени по частоте и по тому, ведут ли они к отказу от покупки. 2. Какие жалобы решаются изменением текста на сайте, а какие требуют изменения продукта или процесса. 3. Что клиенты пытались сделать сами, прежде чем написать отзыв. 4. Какие сильные стороны они называют своими словами — эти формулировки годятся для рекламы. На каждый вывод — цитата и номер отзыва.
Четвёртый пункт часто окупает всю работу. Клиенты описывают вашу пользу точнее, чем маркетинговый отдел, и их словами стоит переписать посадочную страницу.
Проверка на устойчивость
Разметка полезна, только если воспроизводима. Три проверки, которые занимают десять минут:
- Повтор. Прогоните ту же сотню отзывов второй раз. Расхождение больше 10% означает, что критерии тем сформулированы размыто.
- Перемешивание. Поменяйте порядок отзывов. Результат не должен измениться — если изменился, модель ориентируется на соседей, а не на текст.
- Ручная сверка. Возьмите двадцать отзывов и разметьте сами. Сравните. Расхождения покажут, где формулировка темы допускает два толкования.
Ловушки, о которых узнаёшь на практике
| Ловушка | Что происходит |
|---|---|
| Смешанные отзывы | «Товар отличный, но доставка ужасная» уходит в позитив целиком. Требуйте тональность по каждой теме отдельно |
| Сарказм | «Ну спасибо, очень помогли» модель читает буквально. Ищите такие в отзывах с низкой оценкой и положительной тональностью |
| Накрутка | Однотипные короткие похвалы искажают всё. Отсеивайте до анализа |
| Молчаливое большинство | Отзывы пишут крайности. Выводы о среднем клиенте по ним делать нельзя |
Как встроить в работу
Раз в месяц выгружайте новые отзывы, размечайте фиксированным словарём, сравнивайте с прошлым периодом. Полезен не сам отчёт, а изменения: тема, которая выросла вдвое, важнее темы, которая стабильно висит на первом месте. И держите правило: каждая тема, продержавшаяся в топе три месяца, должна получить либо задачу в работе, либо явное решение ничего не делать. Иначе анализ отзывов превращается в ежемесячный ритуал без последствий.