Что именно я спрашиваю у Алисы
Беру формулировки, которыми клиент говорит вслух: услуга, город, «рядом», цена, часы, чем отличается от известного места. Пишу их дословно и сохраняю ответ текстом, даже если проверял голосом. Без текста промпта и даты сравнение следующего месяца не собрать.
Короткий голосовой ответ и развёрнутый текстовый не всегда совпадают. Если для задачи важен именно голос, отмечаю оба. Нельзя засчитать длинный абзац на экране за то, что человек услышит в колонке или в приложении.
Голосовой и текстовый ответы Алисы записываю отдельно, если оба важны.
Карточка организации
Сверяю имя, адрес, телефон, категории, часы и сайт в карточке Яндекса с тем, что лежит на канонической странице. Алиса часто опирается на этот слой раньше, чем на статью в блоге. Ошибка категории приносит не тот спрос, и статьёй она не лечится.
Ссылку из карточки ставлю на страницу точки или услуги, а не на акцию с чужим городом. Если точек несколько, у каждой своя карточка и свой набор услуг. Закрытую точку убираю из карт до того, как буду оценивать «узнаваемость в Алисе».
- Имя и категория как в реальной услуге
- Адрес, телефон и часы одной версии
- Сайт ведёт на страницу этой точки
- У каждой живой точки своя карточка
- Закрытая точка снята, а не оставлена в картах
Кривая категория в карточке сильнее, чем удачный абзац в блоге.
Сайт в индексе Яндекса
Проверяю, что канонические страницы открываются для робота Яндекса и участвуют в поиске по бренду и по услуге с городом. Если страницы нет в индексе, Алисе не на что опереться из нашего текста. Сначала причина: закрытый обход, дубль, тонкая страница или ошибка адреса.
Сниппет в поиске читаю как черновик будущего пересказа. Если в нём старая цена или чужая услуга, правка заголовка и первого абзаца важнее нового материала. После переобхода повторяю тот же русский вопрос в Алисе, а не соседний.
Нет страницы в индексе Яндекса — нет опоры для ответа Алисы из нашего текста.
Русские вопросы без кальки с другой модели
Список для Алисы собираю по-русски, с городами и разговорными формулировками. Английский ряд ChatGPT сюда не подставляю как замену. Вопрос «лучшая компания» без города для местного бизнеса почти бесполезен: ответ либо общий, либо про федеральную витрину.
В вопросах есть и ограничения: кому услуга не оказывается, до скольки открыты, какие марки или какие врачи есть именно здесь. На них карточка и страница отвечают лучше, чем на оценочное «кто самый надёжный». Оценочное оставляю в протоколе как контроль, но не как единственную цель.
Промпт Алисы — русский, с городом и с ограничением, а не калька с английского теста.
Чем ответ отличается от ChatGPT
На одном и том же русском вопросе Алиса чаще держится за карточку, карты и страницы, которые уже сильны в Яндексе. ChatGPT может назвать бренд по другому кругу источников или не назвать местную точку вовсе. Я не требую одинакового списка имён и не считаю расхождение провалом одной из сторон.
Если в Алисе верный адрес, а в ChatGPT устаревший, чиню тот источник, который кормит второй ответ, и не ломаю карточку ради симметрии. Если наоборот карточка врёт, а статья точная, сначала карточка. Вывод «мы присутствуем в нейросетях» без имени модели я в отчёт не пишу.
- Совпал ли адрес точки с карточкой
- Держится ли ответ на поиске Яндекса или на общем пересказе
- Не подменилась ли категория услуг
- Совпадает ли ответ с индексируемой страницей
- Не перенесён ли вывод из протокола ChatGPT
Расхождение Алисы и ChatGPT — повод чинить разные источники, а не усреднять их.
Как часто обновляю срез
Повтор по списку делаю после правки карточки, после переобхода важных страниц и отдельно раз в квартал целиком. В квартальном проходе добавляю новые вопросы из звонков, но старые строки не удаляю. Так видно, что стало устойчивым, а что всплыло один раз.
Успехом строки считаю верный факт: имя точки, услуга, часы или условие без запрещённого обещания. Просто более длинный и приятный ответ успехом не считаю. Для клиник, фармы, финансов и страхования приятный ответ с гарантией лечения или дохода остаётся ошибкой и в Алисе тоже.
Квартальный срез Алисы идёт по старому списку плюс новые вопросы из звонков.