АБ-тестирование и контрольная группа в массовых рассылках
  • 12 Mar 2024
  • 3 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тестирование и контрольная группа в массовых рассылках

  • Темная тема
    Светлая тема
  • формат pdf

Вводный текст

В рассылках можно сравнивать различные варианты содержимого для определения наиболее эффективной кампании, а также использовать контрольную группу для оценки влияния коммуникации.

В данной статье рассматриваем настройку тестирования в массовых рассылках. Для добавления теста в автоматических рассылках воспользуйтесь инструкцией.

Добавить АБ-тест в рассылку

  1. Создайте массовую рассылку в нужном канале:

image.png

  1. Заполните все настройки в первом варианте:

Снимок экрана 2024-03-05 в 17.23.36.png

  1. Добавьте другие варианты рассылки и/или контрольную группу:

Снимок экрана 2024-03-05 в 17.23.36.png

Максимальное количество вариантов в тестировании — 5, но рекомендуем использовать не более двух за один тест, чтобы с большей вероятностью получить статистически значимый результат.

  1. Заполните содержимое добавленного варианта.

Что можно протестировать в рассылке

Выбирайте гипотезы в зависимости от желаемого результата кампании. Ниже приводим примеры факторов, которые могут влиять на различные метрики рассылки.

Увеличить Open Rate

На процент открытий рассылки могут влиять:

  • Тема письма:
    • Призыв к действию
    • Эмоджи
    • Обращение к клиенту по имени
    • Сообщение о наличии бонуса в письме против указания конкретного размера скидки сразу в теме
    • Утверждения против вопросов («Ознакомьтесь с нашей новой коллекцией» против «Хотите ознакомиться с нашей новой коллекцией?»)
    • Длина темы
    • Неформальная тема письма против обычной
    • Имя сотрудника в теме письма (Например, «Иван из Mindbox»).
  • Прехедер:
    • Наличие или отсутствие прехедера
    • Призыв к действию («Подключите тариф Premium сегодня», «Сэкономьте до 50%»)
    • Краткое содержимое письма (Тема письма — «Обновления февраля», прехедер — «Новые АБ-тесты в рассылках и еще 5 обновлений внутри»)
  • Имя отправителя:
    • Название компании против более персонализированного имени отправителя, например «Иван из Mindbox»

Увеличить Cilck Rate

На процент кликов в рассылке могут влиять:

  • Оформление призыва к действию: шрифт, цвет, расположение и размер кнопок
  • Наличие призыва к действию в каждой карточке товара
  • Верстка товарной сетки: количество товаров, расположение элементов в карточках
  • Порядок блоков в письме
  • Длина письма
  • Персонализация письма в зависимости от сегмента клиентов (например, баннеры только для покупателям определенной категории товаров)
  • Использование рекомендаций
  • Вывод цены до и после скидки
  • Вывод цены на продукт с учетом доступных клиенту бонусных баллов
  • Механики социального подтверждения («Эти товары купили более N раз»)
  • Фотографии одежды: на моделях или без; одно изображение или несколько

Увеличить выручку

На совершение заказов из рассылки могут влиять:

  • Наличие призыва к действию
  • Использование рекомендаций вместо или в дополнение к товарной сетке с конкретными товарами
  • Вывод цены до и после скидки
  • Вывод цены на продукт с учетом доступных клиенту бонусных баллов
  • Бонусы: разные размеры скидки, скидка рублями или баллами, бесплатная доставка
  • Механики социального подтверждения («Эти товары купили более N раз»)

Настройки АБ-теста

Гипотеза — предположение, которое планируется доказать или опровергнуть с помощью теста.

Снимок экрана 2024-03-06 в 17.51.05.png

Распределение получателей — процентное соотношение, которое определяет, какая часть получателей получит определенный вариант рассылки. Задается в долях и автоматически пересчитывается в процентное соотношение.

Снимок экрана 2024-03-06 в 17.56.15.png

Например, если в рассылке с контрольной группой 100 000 получателей и задается распределение 5%/75%/20%, первый вариант рассылки будет отправлен 75 000 получателям, второй — 20 000, а 5 000 клиентам из контрольной группы рассылка не будет отправлена.

Аналитика — настройка целевых показателей теста и времени тестирования.

  • Основной целевой показатель — главный показатель, влияние гипотезы на который планируется исследовать в ходе теста.
    Количество участников в варианте считается по доставленным сообщениям.

    • Конверсия в открытие (только в канале Email) — процент клиентов, открывших рассылку за время тестирования.
    • Конверсия в клик — процент клиентов, сделавших хотя бы один клик в рассылке за время тестирования.
    • Конверсия в заказ — процент клиентов, совершивших хотя бы один заказ за время тестирования. Возвраты и отмены не включаются.
    • Средний чек — выручка, деленная на количество заказов за время тестирования. Возвраты и отмены не включаются.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте. Возвраты и отмены не включаются.
  • Дополнительные целевые показатели — второстепенные показатели, которые важно отслеживать для оценки результатов тестирования. Например, если при тестировании с показателем «Конверсия в заказ» важно убедиться, что не упал средний чек или выручка.

  • Время тестирования — период, в течение которого собираются и анализируются действия получателей рассылки. Спустя указанное время будет принято решение о результатах теста.
    Рекомендуем задавать достаточное время тестирования, чтобы получатели могли успеть совершить основное целевое действие: 1-3 суток для конверсий в открытие или клики, 3-7 суток для конверсий в заказы или выручку.

Максимум — 14 дней.

Снимок экрана 2024-03-06 в 18.06.56.png

Запустить АБ-тест

Тестирование начнется сразу после запуска рассылки.

Итоги тестирования

Промежуточные итоги тестирования станут доступны на следующий день после отправки рассылки. Перейти к результатам можно как со страницы рассылки, так и во вкладке «Кампании» → «АБ-тесты».

Копия отчет аб с рассылки.png

Снимок экрана 2024-03-11 в 14.18.01.png

В отчете можно увидеть, найден ли победитель в рамках каждого показателя. В графиках даются разбивки значений вариантов по датам тестирования:

отчет график.png

Под графиками выводятся победители тестирования и значения по каждому из целевых показателей:

Снимок экрана 2024-03-11 в 14.10.40 — копия.png

Отчет АБ-теста формируется по данным, собранным за время тестирования. Открытия, клики и заказы, пришедшие позже, в нем не учитываются.
Поэтому показатели в отчетах АБ-теста и рассылки могут различаться.

Решение о наличии или отсутствии значимой разницы между вариантами принимается спустя время, указанное во «Времени тестирования».
При этом персоналу, создавшему рассылку с тестом, отправляется письмо с итогами тестирования.