Как настроить Контрольную Группу и АБ-тестирование в рассылке
  • Updated on 29 May 2020
  • 2 minutes to read
  • Dark
    Light

Как настроить Контрольную Группу и АБ-тестирование в рассылке

  • Dark
    Light

Инструкция применима ко всем видам рассылок и каналов. На примере рассмотрим создание email-рассылки.

  1. Заходим в email рассылки.

Кампании - Список кампаний - Email-рассылки

66524975f6884e0fbac445d184d8a39bWuHBRShzR3S7pnY3KT6pSu2acur3HkR9PUYZu7OCEQdTW66a-M-up8x4OkDuULTG5os57xHh8Y4Rg5LlEkDQbQdK8vFTq0Qg9YCBhOW0wSBFuInOVtnGiosp4RCXpNPAdXt6BP.png

  1. Редактируем существующую рассылку или добавляем новую.

66524976f8f518f96312395f3aef94efNNvnIa1SEA5OzFPZLFlQ4qHHFCPcCPfFTJwKxOfyFa2NiwAdpsuDoFnCK6NzWT1ooFR6jCcHkP2oLnpsOPd7ndV9fyRUCdh3RDO8iO52HQzHX4C11u4DEA9k8LX43aoWN.png

  1. Добавить вариант(ы) можно после того, как выбраны тема, отправитель и шаблон разделе "Письмо":

756531575332b88565fe29039ddd2a301.jpg

В втором варианте выбираем тему, отправителя и шаблон.

Шаблон можно скорпировать из первого варианта:

75653603f298ee185b3b4d22d22933ce2.jpg

Можем тестировать по теме:

75656297add2ecc85ed474f1554a2ee73.jpg

Можем тестировать по отправителю:

756580269ad61ffbf6a7eb7e65b1346941.jpg

Можем тестировать по шаблону:

756617538b5d43d4dbba0114d5e2928451.jpg

Можно компоновать варианты тестов по теме, отправителю и шаблону друг с другом.
4. Если рассылка массовая, выбираем получателей.

  1. Выбираем настройки тестирования.

75662564b5c558faaae77435042c17e56.jpg

Существуют 2 варианта тестирования:

  • Варианты писем + контрольная группа.
  • Только варианты писем.

Если нужно измерить чистый эффект и доход от рассылки - выбираем “Варианты писем + контрольная группа”. В таком случае критерием оценки может быть только целевое действие.

Количество человек в контрольной группе равно размеру варианта рассылки.
При проведении тестирования без контрольной группы критерий оценки могут также "Показатель открытия" и "Показатель кликов".

Критерий оценки: выбираем исходя из того, что тестируем.

  • Для темы и имени: показатель открытия.
  • Для шаблона: показатель кликов или целевое действие - оформление заказов.

Минимальная разница в отклике : на сколько % один вариант должен превосходить другой, чтобы считаться успешным.

Время тестирования: время, в которое будет проводиться тест и собираться данные. По истечении этого времени оставшимся подписчикам будет отправлен более успешный вариант.

Время тестирования даётся на каждого клиента. Поэтому длительность теста суммируется из времени на накопление тестовых частей + время тестирования.

Как работает : части подписчиков отправляется один вариант письма, части другой. В течение установленного времени собираются данные. Далее оставшейся части подписчиков отправляется выигрышный вариант.

Как проходит тестирование с контрольной группой:

144258585dff32902df959410c0547caaimage.png

Как проходит тестирование без контрольной группы:

144259163a2f0d2d84aa242a185fea8a9image.png

Настройки тестирования в массовой рассылке с контрольной группой:

75670116825b6a4fc6970a7240828f94м-аб-кг.jpg

И без:

75670160f9742fae73ddde6012d08f81м-аб-кг-нет.jpg

Настройки тестирования в триггерной рассылке с контрольной группой:

756701963742822bdb8e64e262dd27f0т-аб-кг.jpg

И без:

75670214a788628e84403bd74fb53330т-аб-кг-нет.jpg

В массовых рассылках пишется, какой процент от всей рассылки составляет тестовая часть и размер итоговой части.

Можно также посмотреть дополнительные параметры :

756720588742456ef64c45bd33deccc3доп.jpg

Мощность: степень уверенности, что, если есть различия, мы их зарегистрируем. 80% общепринятое значение в АБ-тестах.

Доверительная вероятность: степень уверенности, что не принимаем ложный результат. Т.е. не считаем, что есть различия там, где их на самом деле нет. 95% общепринятое значение в АБ-тестах.

7567212262318865971e740810a7d4caдоп-откр.jpg

Was this article helpful?