Почему протокол нельзя скопировать
Одинаковый вопрос в DeepSeek и в ChatGPT часто даёт разный состав фактов и разную смелость формулировок. Где одна модель ставит ссылку, другая может ответить гладким текстом без адреса. Я записываю оба исхода и не считаю расхождение поломкой теста.
Режим, в котором открыт DeepSeek на момент проверки, отмечаю явно: был ли поиск по вебу. Продукт меняется, поэтому в протоколе есть дата и пометка режима. Старый скрин без пометки через месяц уже нельзя сравнивать честно.
Нет пометки режима и даты — нет строки в протоколе DeepSeek.
Что смотрю в самом ответе
Меня интересует не комплимент бренду, а точность: имя, продукт, география, цена или условие, если вопрос был про них. Отдельно помечаю, перепутана ли компания с одноимённой из другой страны. Для международного имени это частый дефект, и его надо ловить специально.
Если ответ общий и мог бы подойти любому игроку категории, видимости нет, даже если в конце упомянули нас одной строкой. Такая строка не держится на факте. Я возвращаюсь к странице, которой не хватает различимого условия.
- Верное ли юридическое или торговое имя
- Не склеена ли компания с чужим одноимённым брендом
- Совпал ли ключевой факт с канонической страницей
- Есть ли источник или только пересказ
- Не обещает ли ответ то, чего нет в наших условиях
Общий абзац про категорию с нашим именем в хвосте — слабый результат.
Какие русскоязычные источники имеют смысл
Сначала смотрю, что DeepSeek уже пересказывает по русским промптам. Если там наша старая новость, местный каталог или карточка — правлю этот слой. Если русских источников в ответе нет вовсе, я не заказываю десять публикаций вслепую: сначала усиливаю свою русскую страницу с фактом.
Имеют смысл площадки, где факт можно поддерживать актуальным: свой сайт, отраслевой каталог с карточкой, карта для местного бизнеса, документ, который мы сами обновляем. Разовая статья без хозяина факта быстро устаревает и начинает кормить ошибку.
- Своя русская страница с датой факта
- Каталог, если его карточка уже попала в ответ
- Карта, если клиент выбирает компанию в городе
- Документ, который компания сама обновляет
- Площадка, где ошибку можно исправить, а не только перекрыть
Русский источник подключаю, если он уже влияет на ответ или закрывает наш факт.
Где чаще всего плывёт факт
Я специально задаю вопросы, на которых ошибка дорогая: цена, город, лицензия, состав услуги, отличие от соседнего продукта. DeepSeek может уверенно заполнить дыру похожим рынком. Поэтому дыру на своей странице закрываю короткой отрицательной формулировкой: чего мы не делаем и где не работаем.
Английскую версию факта не считаю автоматической заменой русской. Если они расходятся, модель выбирает одну. Я либо синхронизирую обе, либо явно пишу, для какой страны каждая версия.
Дорогие факты проверяю отдельными промптами, а не по дороге.
Как веду протокол, чтобы не спутать модели
Файл проверки DeepSeek не лежит в одной куче со скринами ChatGPT. У строки своё поле модели. В сводной таблице можно поставить ряды рядом, но вывод пишется по каждому ряду отдельно: что чинить для DeepSeek, что для другой модели.
Общий список задач допустим только на уровне факта. Если обе модели повторяют одну и ту же устаревшую цену, задача одна — поправить источник цены. Если ошибка только в одной модели, я не трогаю всё сразу и не объявляю источник годным для всех.
Общая задача бывает у факта, общий вывод по моделям — нет.
Чего не жду от одного удачного ответа
Один точный ответ не означает, что бренд «занял DeepSeek». На следующий день формулировка может поплыть, особенно если страница слабая, а чужой пересказ сильный. Я смотрю повтор на том же вопросе и только потом решаю, сдвинулось ли что-то.
Не обещаю приоритет в выдаче модели и не продаю это как место. Честная работа — уменьшить конкретные ошибки и понять, какой русский источник их кормит. Широкую победу по всем вопросам из одного скрина я не подпишу.
Один удачный ответ в протокол прогресса не записываю.