АБ-тестирование и контрольная группа в автоматических рассылках

Рассмотрим на примере создания email-рассылки.

1. Создайте автоматическую рассылку.

2. Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе «Письмо»:

Снимок экрана 2021-10-15 в 18.15.02.png

В втором варианте выбираем тему, отправителя и шаблон.

Шаблон можно скорпировать из первого варианта:

Снимок экрана 2021-10-15 в 18.15.34.png

Можем тестировать по теме:

Снимок экрана 2021-10-15 в 18.16.20.png

Можем тестировать по отправителю:

Снимок экрана 2021-10-18 в 17.37.22.png

Можем тестировать по шаблону:

Снимок экрана 2021-10-15 в 18.23.10.png

Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.

3. Выбираем настройки тестирования:

Снимок экрана 2024-10-10 в 15.19.45.png

Существуют 2 варианта тестирования:

  • Варианты писем + контрольная группа.
  • Только варианты писем.

Если нужно измерить чистый эффект и доход от рассылки — выбираем «Варианты писем + контрольная группа». В таком случае критерием оценки может быть только целевое действие.

Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также «Показатель открытия» и «Показатель кликов».

Критерий оценки: выбираем исходя из того, что тестируем.

  • Для темы и имени: показатель открытия.
  • Для шаблона: показатель кликов или целевое действие — оформление заказов.

Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.

Время тестирования: время, в которое будет проводиться тест и собираться данные.

Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.

Настройки тестирования в автоматической рассылке с контрольной группой:

756701963742822bdb8e64e262dd27f0т-аб-кг.jpg

И без:

75670214a788628e84403bd74fb53330т-аб-кг-нет.jpg

Можно также посмотреть дополнительные параметры:

Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.

Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.

7567212262318865971e740810a7d4caдоп-откр.jpg

Результаты тестирования

После завершения времени тестирования отчет по рассылке отправляется на почту персоналу, который запустил рассылку.

Калькулятор AB-тестов - расчет размера выборки при подготовке к AB-тесту и оценка результата.