А/Б-тесты
Что такое А/Б-тест простыми словами
Это метод сравнения двух или более версий рассылки (тема письма, содержимое, предложение, время отправки) на случайных частях аудитории. Цель — определить, какой вариант показывает лучший результат по выбранной метрике.
Зачем проводить А/Б-тесты
- Исключить субъективные оценки («мне кажется, эта тема лучше»).
- Постепенно улучшать ключевые метрики (открытия, клики, конверсии, выручку).
- Снизить риск отправки неудачного варианта на всю базу.
- Принимать решения на данных, а не на интуиции.
Какой метод используется
На платформе применяется байесовский подход (Bayesian A/B testing). Он отличается от классического t-теста методологической базой и легкостью интерпретации результата.
Получается вероятность того, что вариант Б превосходит вариант А. Например: «Вариант Б лучше с вероятностью 87%»).
Сравнение байесовского и частотного подходов в А/Б-тестах рассылок
Работа с небольшими базами
Требует больших выборок для достижения статзначимости
Работает и на малых выборках. Рекомендуемый минимум:
от 5 000 для метрик писем, от 10 000 для метрик покупки
Получение результата
Результат есть только при достижении статистической значимости
Результат есть всегда — с разной степенью уверенности
Возможность смотреть результаты в процессе
Нельзя — нарушает корректность теста
Можно в любой момент
Интерпретация результата
Сложная: p-value, гипотезы, статзначимость
Простая и понятная: вероятность превосходства
Ответ на бизнес-вопрос
Косвенный
Прямой: «какой вариант лучше и с какой вероятностью»
Риск неверной интерпретации
Высокий, особенно без аналитика
Низкий — выводы интуитивно понятны
Что можно выбрать в качестве параметра А/Б-тестаПоощрения, тема письма, содержимое, отправитель, медиа (чат-бот), изображение (для push и Viber), текст на кнопке.
А/Б-тесты работают в ручные и автоматических рассылках.
Важно: логика срабатывания
- В ручных рассылках единица анализа — уникальный пользователь из выбранного сегмента. Один человек получает только одно письмо и даёт одно наблюдение.
- В авторассылках единица анализа — срабатывание триггера. Один и тот же пользователь может попасть в выборку несколько раз (например, несколько напоминаний о брошенной корзине), но всегда будет получать один и тот же вариант письма (закрепляется при первом попадании в тест).
Table of contents
Table of contents
Как создать А/Б-тест в рассылке
Создать А/Б-тест можно со страницы создания или редактирования рассылки:
- для ручных рассылок — только из статуса «Черновик» (для уже отправленных тест создать нельзя);
- для авторассылок — в любом статусе.
Кнопка «+ A/Б-тест» появляется рядом с параметром, который можно тестировать. При нажатии — откроется планировщик.
К настройкам планировщика можно вернуться в любой момент: через кнопку «Настройки теста» рядом с тестируемым параметром или через иконку шестерёнки в шапке теста. Но нельзя будет редактировать настройки уже запущенного теста.
Планировщик
В планировщике необходимо задать основные параметры теста.
Гипотеза (название теста)
Внутреннее название, чтобы легче ориентироваться в тестах. Например: «Вариант Б лучше варианта А».
Найти победителя по
По этой метрике будет определяться победитель теста. Доступны:
- Open rate (только для email)
- Click rate (только для email)
- Конверсия в покупку (по умолчанию)
- Средний чек
- Выручка
Обратите внимание: тип метрики влияет на необходимый размер выборки и рекомендуемую длительность теста (для метрики Open rate нужно меньше данных и короче срок).
Количество вариантов и распределение
Максимум можно создать 4 варианта (A, B, C, D). Чем больше вариантов, тем больше участников потребуется.
Распределение участников между вариантами можно менять с помощью ползунка (шаг 10%). По умолчанию — равное распределение (50%/50% для двух вариантов).
С надежностью теста
Какого % превосходства одного варианта над другим вам будет достаточно для принятия решения по этому тесту:
- Очень высокая → нужна уверенность более 95% (для критичных тестов с дорогими изменениями, нужна большая выборка)
- Высокая → уверенность 80–95% (для стандартных тестов, стоит по умолчанию)
- Средняя → уверенность 70–80% (для небольших изменений, нужна небольшая выборка)
Реальная уверенность по итогам теста может оказаться ниже или выше. Эта настройка влияет на рекомендуемый размер выборки.
Рекомендации системы
После заполнения параметров система подскажет:
Число участников теста:
- Для ручных рассылок — количество уникальных получателей (с учётом согласий, канала и отписок), которое система выведит из выбранных сегментов получателей рассылки.
- Для авторассылок — рекомендуемое количество срабатываний триггера (один пользователь может дать несколько срабатываний). Выбранные получатели не влияют, это рекомендация системы.
В ручной рассылке если фактическое количество получателей меньше рекомендуемого, появится жёлтое предупреждение, но тест запустить всё равно можно. Однако это может сказаться на уверенности в выборе (вероятности превосходства) одного варианта над другим.
Ожидание эффекта (Длительность теста)
Система автоматически рекомендует продолжительность теста, но ее можно изменить вручную.
В ручных рассылках длительность зависит от метрики, по которой будет определяться победитель: 3 дня для Open rate и Click rate, 14 дней для конверсии в покупку, выручки и среднего чека. Но можно задать свое значение.
В авторассылках длительность зависит от выбранного триггера, потому что от него зависит как часто будет срабатывать рассылка и, соответсвенно, с какой скоростью набираться наблюдения для теста. Также как и в ручных рассылках, можно ввести свою длительность, но не менее 4 дней, если метрика-победитель Open rate или Click rate и не менее 15 дней, если метрика-победитель конверсия в покупку, выручка или средний чек.
Если введенное вручную значение будет меньше рекомендуемого, появится предупреждение, но тест все равно можно запустить.
Отслеживать метрики
Это метрики, которые не влияют на определение победителя, но помогут принять финальное решение. Они будут отображены в статистике.
Доступны:
- Open rate (для email)
- Click rate (для email)
- Click to Open rate, CTOR (для email)
- Отписки (для email)
- Конверсия в цель
- Конверсия в покупку
- Средний чек
- Выручка
- Расходы
- ROI
По умолчанию выбраны: конверсия в цель, средний чек, выручка, расходы, ROI.
По окончании теста (только для авторассылок)
Необходимо выбрать, какая рассылка должна отправляться, когда тест завершится:
- Отправлять вариант А (по умолчанию).
- Отправлять вариант В (или С, D).
- Отправлять победителя — но если уверенность в победителе окажется ниже 80%, то будет отправлен вариант А как базовый.
- Остановить рассылку — после завершения теста ни один вариант не отправится, тумблер рассылки перейдёт в неактивное положение.
Подготовка и работа с контентом
После того как настроили условия теста в планировщике, можно сохранить настройки и переходить к заполнению контента. Тестируемый параметр автоматически разбивается на варианты. Для каждого варианта нужно задать свои названия.
Например, если тестируете поощрение, укажите название для каждого варианта (например, «Вариант А — бонус», «Вариант Б — скидка») и заполните детали поощрения.
Параметры, которые не участвуют в тесте, тоже можно разбить по вариантам. Для этого наведите на нужный блок и нажмите «Разбить для А/Б». Если необходимо вернуться к единову варианту, то оставьте все варианты пустыми или только один заполненный и нажмите на кнопку «Вернуть к общему».
Если планируется тестировать визуальную часть письма (например, изображение баннера), сначала создайте само письмо, а затем уже создавайте А/Б-тест через кнопку «+А/Б» и настраивайте его в планировщике. В этом случае контент из исходного письма автоматически скопируется во все варианты. При необходимости можно легко скорректировать любой из вариантов, отредактировав его в редакторе письма.
Совет для тестов поощрения: если в одном варианте промокод, а в другом — скидка, обязательно разбейте содержимое письма (текст с параметром промокода) по вариантам, чтобы в вариант со скидкой не ушёл чужой промокод. Система напоминает об этом, но не разделяет автоматически.
Тестовая отправка
Перед запуском можно отправить тестовое письмо/сообщение любого варианта. Нажмите кнопку тестовой отправки — выберите нужный вариант (A, B, C или D) и подтвердите. Отправить все варианты сразу нельзя.
Запуск теста и распределение пользователей
Ручные рассылки: нажмите «Запланировать/Отправить с А/Б-тестом» — рассылка перейдёт из черновика в активную, тест начнётся. Участники случайным образом делятся на группы согласно выбранному распределению. Каждый пользователь получает только одно письмо.
Автоматические рассылки
Нажмите «Сохранить и запустить» (если рассылка активна). При первом запуске система предложит либо запустить тест с созданными вариантами, либо пока не запускать тест, а отправить вариант А. Участники также распределяются случайно, но один пользователь всегда получает один и тот же вариант при всех срабатываниях триггера.
После запуска теста нельзя изменить настройки планировщика (целевую метрику, надёжность, распределение). Можно только удалить тест и создать новый.
Статусы А/Б-теста
В списке рассылок и в шапке редактора отобразится статус:
- Черновик — тест создан, но не запущен.
- Идёт тест, статистика — тест активен, победитель ещё не определён.
- Уже есть победитель — тест ещё идёт, но уверенность в превосходстве одного варианта уже от 80% (досрочный победитель).
- Сильный победитель — тест завершён, уверенность ≥95%.
- Есть победитель — тест завершён, уверенность 80–95%.
- Слабый победитель — тест завершён, уверенность 70–80%.
- Нет победителя — тест завершён, уверенность <70% (результат неубедительный).
Для авторассылок также есть статус «Приостановлен» (если выключить рассылку тумблером), а завершенный тест может быть в статусе «В ожидании решения» (если после завершения выбрана остановка рассылки).
Завершение теста
Ручные рассылки
Тест завершается автоматически через заданное в планировщике количество дней (по умолчанию 3 дня для метрик писем, 14 — для покупок, если не меняли). После этого можно посмотреть итоговые результаты. Промежуточные результаты можно смотреть в любое время
Авторассылки
Тест завершается, когда набрано заданное количество срабатываний триггера + ожидание эффекта после последнего события: (3 дня для метрик писем, 14 — для покупок), чтобы учесть возможные целевые действия от последних участников. Но тест не может длиться дольше заданного в планировщике количества дней.
Если за заданную длительность нужное количество событий не набралось — тест всё равно завершится (с тем, что есть).
Могу ли я остановить тест раньше (только для автоматически)?
Да, байесовский подход позволяет это делать. В планировщике для действующего теста есть кнопка «Завершить досрочно». После досрочного завершения окно статистики А/Б-теста исчезнет. Если тест не был в статусе "Уже есть победитель", вы можете не получить информацию о % превосходства одного варианта над другим. Поэтому пользуйтесь этой опцией осторожно.
Результаты и их интерпретация
После завершения теста откройте поп-ап статистики.
Отображается:
- Вероятность превосходства варианта победителя над другими (например, «Вариант Б лучше варианта А с вероятностью 94%»).
Как понимать вероятности:
- ≥95% — очень сильный результат, можно уверенно выбирать победителя.
- 80–95% — хороший результат, победитель есть.
- 70–80% — слабый победитель, можно принимать победителя только для простых тестов, не влияющих на выручку напрямую
- <70% — победителя нет, вероятность превосходства одного варианта над другим не значительна.
Также окно статистики отразит прирост целевой метрики относительно худшего варианта, количество отправок и доставок рассылок, а также выбранные метрики наблюдения.
Для завершенных тестов авторассылок система предложит Принять решение, то есть выбрать какой вариант рассылки должен рассылаться дальше. После принятия решения окно статистики теста исчезнет, поэтому пока мы советуем не нажимать эту кнопку, если вам нужны результаты теста.
Как считаются метрики
Рассчитываются на основе аудитории, которая совершила действие в канале. Для Email это факт открытия письма, для SMS и Push — факт доставки на устройство, а для Telegram и MAX — сам факт отправки.
В общем списке рассылок и поп-апе статистики рассылки: Метрики считаются по классической модели атрибуции конкретной рассылки (то есть выручка приписывается к последней рассылке, которую получил клиент («успешная доставка») перед совершением покупки в течение указанного периода после отправки рассылки). Здесь суммируются данные по всем вариантам АБ-теста вместе с прошлыми отправками этой же рассылки (если они были до теста).
В статистике самого А/Б-теста и при выборе победителя: Метрики считаются по общей атрибуции. В расчет идут вообще любые покупки и действия клиентов, получивших сообщение («успешная доставка»). Главное условие — действие должно произойти после доставки и строго до завершения А/Б-теста (включая время ожидания результатов у авторассылок).
Редактирование и удаление теста
Для ручных рассылок
После запуска теста редактировать контент и настройки нельзя.
Для авторассылок
Во время теста можно редактировать контент (но система предупредит, что это повлияет на чистоту результатов и спросит, учитывать ли уже собранные данные). Настройки теста в планировщике изменить нельзя. Удалить тест можно в любой момент (даже завершённый) через планировщик — кнопка «Удалить тест». При нажатии результаты теста удалятся и к ним нельзя будет обратиться.
Многоканальные тесты
Можно создать А/Б-тест, который отправляется одновременно через несколько каналов (email , SMS, push).
Рекомендация: для чистоты результата лучше тестировать в одном канале. При нескольких каналах покупка может быть вызвана не вариантом, а дополнительным касанием. Однако случайное распределение пользователей нивелирует этот эффект.
Особенности:
- Если вы выбрали целевую метрику Open rate (только для email), но при этом отключили email-канал — тест запустится, но Open rate будет равен нулю, победитель не определится.
- Добавление или удаление каналов после настройки теста меняет количество получателей (для ручных рассылок) и частоту срабатывания триггера (для авторассылок). Система пересчитает рекомендации, но не предупредит об этом.