Как настроить Контрольную Группу и АБ-тестирование в рассылке
  • 09 Feb 2022
  • 1 минута
  • Темная тема
    Светлая тема
  • формат pdf

Как настроить Контрольную Группу и АБ-тестирование в рассылке

  • Темная тема
    Светлая тема
  • формат pdf

Инструкция применима ко всем видам рассылок и каналов. На примере рассмотрим создание email-рассылки.

  1. Для начала познакомьтесь с инструкциями по созданию массовых и триггерных рассылок.

  2. Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе «Письмо»:

Снимок экрана 2021-10-15 в 18.15.02.png

В втором варианте выбираем тему, отправителя и шаблон.

Шаблон можно скорпировать из первого варианта:

Снимок экрана 2021-10-15 в 18.15.34.png

Можем тестировать по теме:

Снимок экрана 2021-10-15 в 18.16.20.png

Можем тестировать по отправителю:

Снимок экрана 2021-10-18 в 17.37.22.png

Можем тестировать по шаблону:

Снимок экрана 2021-10-15 в 18.23.10.png

Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.

  1. Если рассылка массовая, выбираем получателей.

  2. Выбираем настройки тестирования:

Снимок экрана 2021-10-15 в 18.25.54.png

Существуют 2 варианта тестирования:

  • Варианты писем + контрольная группа.
  • Только варианты писем.

Если нужно измерить чистый эффект и доход от рассылки — выбираем «Варианты писем + контрольная группа». В таком случае критерием оценки может быть только целевое действие.

Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также «Показатель открытия» и «Показатель кликов».

Критерий оценки: выбираем исходя из того, что тестируем.

  • Для темы и имени: показатель открытия.
  • Для шаблона: показатель кликов или целевое действие — оформление заказов.

Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.

Время тестирования: время, в которое будет проводиться тест и собираться данные. По истечении этого времени оставшимся подписчикам будет отправлен более успешный вариант.

Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.

Как работает : части подписчиков отправляется один вариант письма, части другой. В течение установленного времени собираются данные. Далее оставшейся части подписчиков отправляется выигрышный вариант.

Как проходит тестирование с контрольной группой:

144258585dff32902df959410c0547caaimage.png

Как проходит тестирование без контрольной группы:

144259163a2f0d2d84aa242a185fea8a9image.png

Настройки тестирования в массовой рассылке с контрольной группой:

75670116825b6a4fc6970a7240828f94м-аб-кг.jpg

И без:

75670160f9742fae73ddde6012d08f81м-аб-кг-нет.jpg

Настройки тестирования в триггерной рассылке с контрольной группой:

756701963742822bdb8e64e262dd27f0т-аб-кг.jpg

И без:

75670214a788628e84403bd74fb53330т-аб-кг-нет.jpg

В массовых рассылках пишется, какой процент от всей рассылки составляет тестовая часть и размер итоговой части.

Можно также посмотреть дополнительные параметры :

756720588742456ef64c45bd33deccc3доп.jpg

Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.

Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.

7567212262318865971e740810a7d4caдоп-откр.jpg

Результаты тестирования

После завершения времени тестирования отчет по рассылке отправляется на почту персоналу, который запустил рассылку.


Была ли эта статья полезной?