Как настроить Контрольную Группу и АБ-тестирование в рассылке

Инструкция применима ко всем видам рассылок и каналов. На примере рассмотрим создание email-рассылки.

1. Для начала познакомьтесь с инструкциями по созданию массовых и автоматических рассылок.

2. Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе «Письмо»:

В втором варианте выбираем тему, отправителя и шаблон.

Шаблон можно скорпировать из первого варианта:

Можем тестировать по теме:

Можем тестировать по отправителю:

Можем тестировать по шаблону:

Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.

3. Если рассылка массовая, выбираем получателей.

4. Выбираем настройки тестирования:

Существуют 2 варианта тестирования:

• Варианты писем + контрольная группа.
• Только варианты писем.

Если нужно измерить чистый эффект и доход от рассылки — выбираем «Варианты писем + контрольная группа». В таком случае критерием оценки может быть только целевое действие.

Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также «Показатель открытия» и «Показатель кликов».

Критерий оценки: выбираем исходя из того, что тестируем.

• Для темы и имени: показатель открытия.
• Для шаблона: показатель кликов или целевое действие — оформление заказов.

Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.

Время тестирования: время, в которое будет проводиться тест и собираться данные. По истечении этого времени оставшимся подписчикам будет отправлен более успешный вариант.

Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.

Как работает : части подписчиков отправляется один вариант письма, части другой. В течение установленного времени собираются данные. Далее оставшейся части подписчиков отправляется выигрышный вариант.

Как проходит тестирование с контрольной группой:

Как проходит тестирование без контрольной группы:

Настройки тестирования в массовой рассылке с контрольной группой:

И без:

Настройки тестирования в автоматической рассылке с контрольной группой:

И без:

В массовых рассылках пишется, какой процент от всей рассылки составляет тестовая часть и размер итоговой части.

Можно также посмотреть дополнительные параметры :

Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.

Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.

Результаты тестирования

После завершения времени тестирования отчет по рассылке отправляется на почту персоналу, который запустил рассылку.