- 12 Mar 2024
- 3 минуты
- Темная темаСветлая тема
- формат pdf
АБ-тестирование и контрольная группа в массовых рассылках
- Обновлено 12 Mar 2024
- 3 минуты
- Темная темаСветлая тема
- формат pdf
В рассылках можно сравнивать различные варианты содержимого для определения наиболее эффективной кампании, а также использовать контрольную группу для оценки влияния коммуникации.
В данной статье рассматриваем настройку тестирования в массовых рассылках. Для добавления теста в автоматических рассылках воспользуйтесь инструкцией.
Добавить АБ-тест в рассылку
- Создайте массовую рассылку в нужном канале:
- Заполните все настройки в первом варианте:
- Добавьте другие варианты рассылки и/или контрольную группу:
Максимальное количество вариантов в тестировании — 5, но рекомендуем использовать не более двух за один тест, чтобы с большей вероятностью получить статистически значимый результат.
- Заполните содержимое добавленного варианта.
Что можно протестировать в рассылке
Выбирайте гипотезы в зависимости от желаемого результата кампании. Ниже приводим примеры факторов, которые могут влиять на различные метрики рассылки.
Увеличить Open Rate
На процент открытий рассылки могут влиять:
- Тема письма:
- Призыв к действию
- Эмоджи
- Обращение к клиенту по имени
- Сообщение о наличии бонуса в письме против указания конкретного размера скидки сразу в теме
- Утверждения против вопросов («Ознакомьтесь с нашей новой коллекцией» против «Хотите ознакомиться с нашей новой коллекцией?»)
- Длина темы
- Неформальная тема письма против обычной
- Имя сотрудника в теме письма (Например, «Иван из Mindbox»).
- Прехедер:
- Наличие или отсутствие прехедера
- Призыв к действию («Подключите тариф Premium сегодня», «Сэкономьте до 50%»)
- Краткое содержимое письма (Тема письма — «Обновления февраля», прехедер — «Новые АБ-тесты в рассылках и еще 5 обновлений внутри»)
- Имя отправителя:
- Название компании против более персонализированного имени отправителя, например «Иван из Mindbox»
Увеличить Cilck Rate
На процент кликов в рассылке могут влиять:
- Оформление призыва к действию: шрифт, цвет, расположение и размер кнопок
- Наличие призыва к действию в каждой карточке товара
- Верстка товарной сетки: количество товаров, расположение элементов в карточках
- Порядок блоков в письме
- Длина письма
- Персонализация письма в зависимости от сегмента клиентов (например, баннеры только для покупателям определенной категории товаров)
- Использование рекомендаций
- Вывод цены до и после скидки
- Вывод цены на продукт с учетом доступных клиенту бонусных баллов
- Механики социального подтверждения («Эти товары купили более N раз»)
- Фотографии одежды: на моделях или без; одно изображение или несколько
Увеличить выручку
На совершение заказов из рассылки могут влиять:
- Наличие призыва к действию
- Использование рекомендаций вместо или в дополнение к товарной сетке с конкретными товарами
- Вывод цены до и после скидки
- Вывод цены на продукт с учетом доступных клиенту бонусных баллов
- Бонусы: разные размеры скидки, скидка рублями или баллами, бесплатная доставка
- Механики социального подтверждения («Эти товары купили более N раз»)
Настройки АБ-теста
Гипотеза — предположение, которое планируется доказать или опровергнуть с помощью теста.
Распределение получателей — процентное соотношение, которое определяет, какая часть получателей получит определенный вариант рассылки. Задается в долях и автоматически пересчитывается в процентное соотношение.
Например, если в рассылке с контрольной группой 100 000 получателей и задается распределение 5%/75%/20%, первый вариант рассылки будет отправлен 75 000 получателям, второй — 20 000, а 5 000 клиентам из контрольной группы рассылка не будет отправлена.
Аналитика — настройка целевых показателей теста и времени тестирования.
Основной целевой показатель — главный показатель, влияние гипотезы на который планируется исследовать в ходе теста.
Количество участников в варианте считается по доставленным сообщениям.- Конверсия в открытие (только в канале Email) — процент клиентов, открывших рассылку за время тестирования.
- Конверсия в клик — процент клиентов, сделавших хотя бы один клик в рассылке за время тестирования.
- Конверсия в заказ — процент клиентов, совершивших хотя бы один заказ за время тестирования. Возвраты и отмены не включаются.
- Средний чек — выручка, деленная на количество заказов за время тестирования. Возвраты и отмены не включаются.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте. Возвраты и отмены не включаются.
Дополнительные целевые показатели — второстепенные показатели, которые важно отслеживать для оценки результатов тестирования. Например, если при тестировании с показателем «Конверсия в заказ» важно убедиться, что не упал средний чек или выручка.
Время тестирования — период, в течение которого собираются и анализируются действия получателей рассылки. Спустя указанное время будет принято решение о результатах теста.
Рекомендуем задавать достаточное время тестирования, чтобы получатели могли успеть совершить основное целевое действие: 1-3 суток для конверсий в открытие или клики, 3-7 суток для конверсий в заказы или выручку.
Максимум — 14 дней.
Запустить АБ-тест
Тестирование начнется сразу после запуска рассылки.
Итоги тестирования
Промежуточные итоги тестирования станут доступны на следующий день после отправки рассылки. Перейти к результатам можно как со страницы рассылки, так и во вкладке «Кампании» → «АБ-тесты».
В отчете можно увидеть, найден ли победитель в рамках каждого показателя. В графиках даются разбивки значений вариантов по датам тестирования:
Под графиками выводятся победители тестирования и значения по каждому из целевых показателей:
Отчет АБ-теста формируется по данным, собранным за время тестирования. Открытия, клики и заказы, пришедшие позже, в нем не учитываются.
Поэтому показатели в отчетах АБ-теста и рассылки могут различаться.
Решение о наличии или отсутствии значимой разницы между вариантами принимается спустя время, указанное во «Времени тестирования».
При этом персоналу, создавшему рассылку с тестом, отправляется письмо с итогами тестирования.