АБ-тестирование и контрольная группа в массовых рассылках

В рассылках можно сравнивать различные варианты содержимого для определения наиболее эффективной кампании, а также использовать контрольную группу для оценки влияния коммуникации.

В данной статье рассматриваем настройку тестирования в массовых рассылках. Для добавления теста в автоматических рассылках воспользуйтесь инструкцией.

Добавить АБ-тест в рассылку

1. Создайте массовую рассылку в нужном канале:

2. Заполните все настройки в первом варианте:

3. Добавьте другие варианты рассылки и/или контрольную группу:

Максимальное количество вариантов в тестировании — 5, но рекомендуем использовать не более двух за один тест, чтобы с большей вероятностью получить статистически значимый результат.

4. Заполните содержимое добавленного варианта.

Что можно протестировать в рассылке

Выбирайте гипотезы в зависимости от желаемого результата кампании. Ниже приводим примеры факторов, которые могут влиять на различные метрики рассылки.

Увеличить Open Rate

На процент открытий рассылки могут влиять:

• Тема письма:
  • Призыв к действию
  • Эмоджи
  • Обращение к клиенту по имени
  • Сообщение о наличии бонуса в письме против указания конкретного размера скидки сразу в теме
  • Утверждения против вопросов («Ознакомьтесь с нашей новой коллекцией» против «Хотите ознакомиться с нашей новой коллекцией?»)
  • Длина темы
  • Неформальная тема письма против обычной
  • Имя сотрудника в теме письма (Например, «Иван из Mindbox»).
• Прехедер:
  • Наличие или отсутствие прехедера
  • Призыв к действию («Подключите тариф Premium сегодня», «Сэкономьте до 50%»)
  • Краткое содержимое письма (Тема письма — «Обновления февраля», прехедер — «Новые АБ-тесты в рассылках и еще 5 обновлений внутри»)
• Имя отправителя:
  • Название компании против более персонализированного имени отправителя, например «Иван из Mindbox»

Увеличить Cilck Rate

На процент кликов в рассылке могут влиять:

• Оформление призыва к действию: шрифт, цвет, расположение и размер кнопок
• Наличие призыва к действию в каждой карточке товара
• Верстка товарной сетки: количество товаров, расположение элементов в карточках
• Порядок блоков в письме
• Длина письма
• Персонализация письма в зависимости от сегмента клиентов (например, баннеры только для покупателям определенной категории товаров)
• Использование рекомендаций
• Вывод цены до и после скидки
• Вывод цены на продукт с учетом доступных клиенту бонусных баллов
• Механики социального подтверждения («Эти товары купили более N раз»)
• Фотографии одежды: на моделях или без; одно изображение или несколько

Увеличить выручку

На совершение заказов из рассылки могут влиять:

• Наличие призыва к действию
• Использование рекомендаций вместо или в дополнение к товарной сетке с конкретными товарами
• Вывод цены до и после скидки
• Вывод цены на продукт с учетом доступных клиенту бонусных баллов
• Бонусы: разные размеры скидки, скидка рублями или баллами, бесплатная доставка
• Механики социального подтверждения («Эти товары купили более N раз»)

Настройки АБ-теста

Гипотеза — предположение, которое планируется доказать или опровергнуть с помощью теста.

Распределение получателей — процентное соотношение, которое определяет, какая часть получателей получит определенный вариант рассылки. Задается в долях и автоматически пересчитывается в процентное соотношение.

Например, если в рассылке с контрольной группой 100 000 получателей и задается распределение 5%/75%/20%, первый вариант рассылки будет отправлен 75 000 получателям, второй — 20 000, а 5 000 клиентам из контрольной группы рассылка не будет отправлена.

Аналитика — настройка целевых показателей теста и времени тестирования.

• Основной целевой показатель — главный показатель, влияние гипотезы на который планируется исследовать в ходе теста.
  Количество участников в варианте считается по доставленным сообщениям.

  • Конверсия в открытие (только в канале Email) — процент клиентов, открывших рассылку за время тестирования.
  • Конверсия в клик — процент клиентов, сделавших хотя бы один клик в рассылке за время тестирования.
  • Конверсия в заказ — процент клиентов, совершивших хотя бы один заказ за время тестирования. Возвраты и отмены не включаются.
  • Средний чек — выручка, деленная на количество заказов за время тестирования. Возвраты и отмены не включаются.
  • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте. Возвраты и отмены не включаются.

• Дополнительные целевые показатели — второстепенные показатели, которые важно отслеживать для оценки результатов тестирования. Например, если при тестировании с показателем «Конверсия в заказ» важно убедиться, что не упал средний чек или выручка.

• Время тестирования — период, в течение которого собираются и анализируются действия получателей рассылки. Спустя указанное время будет принято решение о результатах теста.
  Рекомендуем задавать достаточное время тестирования, чтобы получатели могли успеть совершить основное целевое действие: 1-3 суток для конверсий в открытие или клики, 3-7 суток для конверсий в заказы или выручку.

Максимум — 14 дней.

Запустить АБ-тест

Тестирование начнется сразу после запуска рассылки.

Итоги тестирования

Промежуточные итоги тестирования станут доступны на следующий день после отправки рассылки. Перейти к результатам можно как со страницы рассылки, так и во вкладке «Кампании» → «АБ-тесты».

В отчете можно увидеть, найден ли победитель в рамках каждого показателя. В графиках даются разбивки значений вариантов по датам тестирования:

Под графиками выводятся победители тестирования и значения по каждому из целевых показателей:

Решение о наличии или отсутствии значимой разницы между вариантами принимается спустя время, указанное во «Времени тестирования».
При этом персоналу, создавшему рассылку с тестом, отправляется письмо с итогами тестирования.