- 10 Oct 2024
- 1 минута
- Темная темаСветлая тема
- формат pdf
АБ-тестирование и контрольная группа в автоматических рассылках
- Обновлено 10 Oct 2024
- 1 минута
- Темная темаСветлая тема
- формат pdf
Рассмотрим на примере создания email-рассылки.
Создайте автоматическую рассылку.
Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе «Письмо»:
В втором варианте выбираем тему, отправителя и шаблон.
Шаблон можно скорпировать из первого варианта:
Можем тестировать по теме:
Можем тестировать по отправителю:
Можем тестировать по шаблону:
Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.
- Выбираем настройки тестирования:
Существуют 2 варианта тестирования:
- Варианты писем + контрольная группа.
- Только варианты писем.
Если нужно измерить чистый эффект и доход от рассылки — выбираем «Варианты писем + контрольная группа». В таком случае критерием оценки может быть только целевое действие.
Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также «Показатель открытия» и «Показатель кликов».
Критерий оценки: выбираем исходя из того, что тестируем.
- Для темы и имени: показатель открытия.
- Для шаблона: показатель кликов или целевое действие — оформление заказов.
Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.
Время тестирования: время, в которое будет проводиться тест и собираться данные.
Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.
Настройки тестирования в автоматической рассылке с контрольной группой:
И без:
Можно также посмотреть дополнительные параметры:
Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.
Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.
Результаты тестирования
После завершения времени тестирования отчет по рассылке отправляется на почту персоналу, который запустил рассылку.