Клик, цель и цена цели читаю одной цепочкой.
Подсветка в отчёте эксперимента отделяет устойчивую разницу от шума. Яркий зелёный или красный цвет стоит при p-value ниже 0,05: такой оценке в кабинете можно доверять. Слабая подсветка — промежуток от 0,05 до 0,2. Это тенденция, и на весь трафик вариант с неё я не перевожу. Для метрик «Конверсии», «Конверсия %» и «Цена цели» цвет относится к данным с 1 января 2025 года.
Второй отчёт — «Директ, эксперименты» в Яндекс Метрике. В справке оценка появляется через две недели после запуска, раньше этот отчёт финалом не считаю. Порог значимости в Метрике свой, поэтому расхождение с Директом не усредняю. Когда нужно отдельно проверить цену цели, открываю калькулятор достоверности Яндекса и сверяю его с основной метрикой эксперимента.
Как не принять шум за результат
Частый сбой такой: вариант выигрывает по кликам и проигрывает по заявкам. Яркий заголовок с сильным обещанием забирает бюджет, а целевых действий не прибавляется. Ротация в группе как раз усиливает кликабельность. Перед тем как оставить этот вариант на всех показах, смотрю цену цели и качество лидов в CRM или коллтрекинге.
- Вывод, пока на вариант приходится меньше 10 конверсий в неделю и обучение ещё идёт.
- Несколько элементов в одном тесте, причину сдвига уже не назвать.
- Разные посадочные у вариантов, хотя проверяю текст объявления.
- Одна аудитория ретаргетинга в обеих группах эксперимента.
- Масштаб по дешёвым заявкам, которые в CRM не становятся продажами.
Ориентир кабинета для эксперимента — не меньше 10 конверсий в неделю на каждый вариант. Если на вариант приходится меньше, разница легко оказывается случайной. Тогда удлиняю срок, сужаю гипотезу до одного заголовка и отдаю новому варианту меньшую долю трафика. Пока заявок мало, остаюсь на сплите в группе и смотрю только кликабельность. Эксперимент по целям в таком объёме завершённым не считаю.
Срок считаю вместе с обучением и бюджетными циклами. Сравнение по конверсиям занимает недели. Новую кампанию с уже работающей справка предлагает держать рядом до четырёх недель. При недельном бюджете жду два полных интервала: один удачный цикл легко выглядит как эффект объявления. Когда основная метрика значима, в отчёте эксперимента нажимаю «Запустить на 100%». Если тестировал корректировку ставок внутри одной кампании, сначала останавливаю эксперимент и только потом переношу корректировку руками. В журнал пишу дату, гипотезу, что менял, метрику и решение.
Что проверяю перед запуском
- Гипотеза записана: один элемент, ожидаемый сдвиг метрики и понятная причина.
- Выбран уровень: группа для кликабельности или эксперимент для заявок и цены цели.
- Совпадают посадочная, ставки и таргетинг, отличается один слой объявления.
- Поиск и сети разобраны отдельными выводами.
- Бюджеты пропорциональны долям трафика.
- В плане есть 7–14 дней обучения и два бюджетных цикла.
- Основная метрика названа до старта.
Журнал веду коротко, на одну строку эксперимента. Следующий тест начинается с новой одной переменной: быстрые ссылки, уточнения или посадочная. Пакет правок сразу в журнал не кладу.