Что проверяю именно в ChatGPT
Один и тот же вопрос я задаю пулом, а не один раз ради удачного скрина. Смотрю, устойчиво ли имя, не склеены ли два бренда и не появилась ли цена, которой нет на сайте. Если в продукте есть режим поиска по вебу, отмечаю, включён ли он: выводы этих режимов я не смешиваю.
Ответ без источника и ответ со ссылкой записываю разными исходами. Нас могли назвать по памяти рынка и никуда не сослаться. Это слабее, чем цитата страницы, и в отчёте так и помечено.
Режим с поиском и режим без поиска — два разных протокола.
Русские и английские промпты
Русский ряд беру из вопросов клиентов. Английский добавляю, если продукт ищут по-английски, есть иностранные каталоги или имя бренда на латинице живёт отдельно. Дословный перевод русского вопроса не всегда равен тому, как спрашивает англоязычный пользователь, поэтому второй ряд собираю отдельно, а не автоматическим переводом.
Расхождение рядов — нормальный результат, а не ошибка теста. Часто английский ответ опирается на международный каталог, а русский — на местную карточку. Чиню тот источник, который кормит кривой ряд, и не требую, чтобы оба ряда цитировали одну и ту же статью.
- Русские вопросы из продаж и поддержки
- Английские вопросы, если так ищут продукт
- Запросы с латинским написанием бренда
- Запросы, где бренд путают с чужим именем
- Один и тот же факт в обоих языках
Автоперевод промпта я не называю английским спросом.
На какие источники имеет смысл опереться
Сначала своя каноническая страница с фактом, датой и одним написанием имени. Затем площадки, которые уже всплывают в ответах ChatGPT по нашим промптам: каталог, стор, карта, профильное СМИ. Площадку, которой в протоколах нет, я не покупаю «для ChatGPT» авансом.
Факт на внешней странице совпадает со своей. Если каталог обещает функцию, которую мы сняли, модель будет повторять каталог. Правка чужого источника в таком случае важнее новой гостевой статьи.
Источник, которого нет в протоколах ChatGPT, не становится первым приоритетом.
Как готовлю страницу к цитированию
Страница коротко отвечает на один вопрос в первых абзацах, дальше даёт оговорки. Имя продукта, ограничение и дата стоят текстом. Я не прячу суть в слайд и не начинаю с истории компании, если вопрос был про условие.
Канонический адрес один. Дубли с разными ценами я снимаю или явно помечаю архивом. Для модели две живые страницы с разной цифрой — повод выбрать наугад или склеить обе.
Первые абзацы отвечают на вопрос, история компании их не подменяет.
Ограничения, которые я не обещаю обойти
ChatGPT может назвать устаревшую цену, перепутать город присутствия и уверенно описать функцию конкурента как нашу. Наличие поиска это не отменяет полностью. Поэтому я сверяю ответ с листом фактов, а не оцениваю его «на глаз, звучит прилично».
Я не обещаю, что модель процитирует сайт в заданный день после публикации. Честный результат работы — меньше фактических ошибок в повторном протоколе и понятный источник, если ссылка всё же есть. Отсутствие ссылки при верном факте и наличие ссылки при неверном факте я читаю по-разному.
Верный факт без ссылки и ссылка на неверный факт — разные исходы.
Как фиксирую результат
В таблице по каждому промпту храню дату, язык, режим, был ли бренд, была ли ошибка и какой адрес указан. Скрин без этой строки не принимаю. Сравнение месяцев идёт по тем же строкам.
Новый удачный пример, пойманный руками, в отчёт не добавляю как доказательство роста. Если его не было в исходном списке, он может пополнить список со следующей волны. Старая волна остаётся закрытой.
- Дата, язык и текст промпта
- Был ли включён поиск по вебу
- Бренд назван верно, с ошибкой или никак
- Какой адрес указан, если он есть
- Совпал ли факт с листом на сайте
Доказательство — повтор строки протокола, а не новый удачный скрин.