Дополнительно об АБ-тестировании
В статье «Настройка АБ-тестирования» рассмотрен процесс настройки тестирования email-рассылки в зависимости от задачи, которую необходимо решить.
Новые АБ-тесты доступны в массовых рассылках.
Ниже разберем часто возникающие вопросы по АБ-тестированию.
В каких каналах рассылки доступен АБ-тест?
Во всех каналах.
Можно ли настроить АБ-тест в opt-in рассылке? А в транзакционной?
Да, можно. Но в opt-in или транзакционной рассылке нельзя настроить контрольную группу, только варианты писем.
Можно ли настроить контрольную группу в автоматической рассылке?
Да, можно. В этом случае критерий оценки — целевое личное действие.
У клиента одинаковые шансы как получить рассылку, так и попасть в КГ. Например, для рассылки с 1 вариантом и КГ вероятность попасть в КГ будет 50%; для рассылки с 4 вариантами и КГ — 20%;
Какие критерии определения наилучшего варианта доступны в каналах?
Во всех каналах — целевое действие и click rate, в email дополнительно — open rate. Обратите внимание, что для работы click rate в sms канале необходимо включить сокращатель ссылок.
Какой вариант рассылки считать наилучшим?
Мы советуем определять лучший вариант по таким критериям:
Для теста по теме или имени отправителя — по open rate.
Для теста по шаблону — по click rate или целевому действию (только личное действие клиента).
Сколько вариантов писем доступно в одном тестировании?
Не более 10.
Что будет, если в рассылке победит контрольная группа?
По результатам тестирования контрольная группа может победить. В таком случае вариант остановлен не будет, но все подписавшиеся на рассылку / кампанию получат уведомление.
Можно ли настроить точный размер тестовых групп, а не в процентах от базы рассылки?
Можно, но не нужно.
Важен результат теста, которому можно доверять, а не просто факт отправки. При заполнении среднего Click rate по вашим рассылкам и настройке нужного вам показателя «Минимальная разница в отклике» система сама определит размер тестовой части:
Можно ли остановить тест до его завершения?
Да, можно.
Для этого нужно остановить рассылку или все варианты рассылки, кроме последнего (и контрольную группу в автоматических рассылках). Остановить варианты можно внизу страницы рассылки после ее запуска:
После остановки включить вариант заново нельзя.
Можно ли доотправить вручную вариант рассылки после принудительного завершения теста?
Нет, нельзя. Доотправить один из вариантов рассылки по остатку базы нельзя.
Можно скопировать нужный вариант рассылки и отправить его как новую рассылку / заменить рассылку в работающем сценарии. Но так мы потеряем статистику.
Какие шаблоны действия выдаются в рассылках с АБ-тестированием?
В статье "Шаблоны действия рассылок« описано, какие ШД выдаются клиентам в зависимости от статуса рассылки. В случаях, если есть АБ-тест, то для каждого варианта к названию рассылки в ШД добавляется номер варианта. После завершения теста в автоматических рассылках остаются ШД варианта-победителя.
Например: рассылка называется «Рассылушка».
У вариантов для тестирования будут имена «Рассылушка_Variant1» и «Рассылушка_Variant2». Допустим, после завершения теста победил вариант 2, тогда по остатку базы в разовой рассылке / в дальнейшем автоматической рассылке будет использоваться ШД «Рассылушка_Variant2».