- 06 Feb 2023
- 1 минута
- Темная темаСветлая тема
- формат pdf
Как настроить Контрольную Группу и АБ-тестирование в рассылке
- Обновлено 06 Feb 2023
- 1 минута
- Темная темаСветлая тема
- формат pdf
Инструкция применима ко всем видам рассылок и каналов. На примере рассмотрим создание email-рассылки.
Для начала познакомьтесь с инструкциями по созданию массовых и триггерных рассылок.
Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе «Письмо»:
В втором варианте выбираем тему, отправителя и шаблон.
Шаблон можно скорпировать из первого варианта:
Можем тестировать по теме:
Можем тестировать по отправителю:
Можем тестировать по шаблону:
Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.
Если рассылка массовая, выбираем получателей.
Выбираем настройки тестирования:
Существуют 2 варианта тестирования:
- Варианты писем + контрольная группа.
- Только варианты писем.
Если нужно измерить чистый эффект и доход от рассылки — выбираем «Варианты писем + контрольная группа». В таком случае критерием оценки может быть только целевое действие.
Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также «Показатель открытия» и «Показатель кликов».
Критерий оценки: выбираем исходя из того, что тестируем.
- Для темы и имени: показатель открытия.
- Для шаблона: показатель кликов или целевое действие — оформление заказов.
Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.
Время тестирования: время, в которое будет проводиться тест и собираться данные. По истечении этого времени оставшимся подписчикам будет отправлен более успешный вариант.
Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.
Как работает : части подписчиков отправляется один вариант письма, части другой. В течение установленного времени собираются данные. Далее оставшейся части подписчиков отправляется выигрышный вариант.
Как проходит тестирование с контрольной группой:
Как проходит тестирование без контрольной группы:
Настройки тестирования в массовой рассылке с контрольной группой:
И без:
Настройки тестирования в триггерной рассылке с контрольной группой:
И без:
В массовых рассылках пишется, какой процент от всей рассылки составляет тестовая часть и размер итоговой части.
Можно также посмотреть дополнительные параметры :
Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.
Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.
Результаты тестирования
После завершения времени тестирования отчет по рассылке отправляется на почту персоналу, который запустил рассылку.