АБ-тестирование и контрольная группа в автоматических рассылках
В рассылках можно сравнивать различные варианты содержимого для определения наиболее эффективной кампании, а также использовать контрольную группу для оценки влияния коммуникации.
В данной статье рассматриваем настройку тестирования в в автоматических рассылках. Для добавления теста массовых рассылках воспользуйтесь инструкцией.
Добавить АБ-тест в рассылку
Заполните раздел «Письмо» в автоматической рассылке и добавьте другие варианты рассылки и/или контрольную группу:
Максимальное количество вариантов в тестировании — 5, но рекомендуем использовать не более двух за один тест, чтобы с большей вероятностью получить статистически значимый результат.
Что можно протестировать в рассылке
Выбирайте гипотезы в зависимости от желаемого результата кампании. Ниже приводим примеры факторов, которые могут влиять на различные метрики рассылки.
Увеличить Open Rate
На процент открытий рассылки могут влиять:
- Тема письма:
- Призыв к действию
- Эмоджи
- Обращение к клиенту по имени
- Сообщение о наличии бонуса в письме против указания конкретного размера скидки сразу в теме
- Утверждения против вопросов («Ознакомьтесь с нашей новой коллекцией» против «Хотите ознакомиться с нашей новой коллекцией?»)
- Длина темы
- Неформальная тема письма против обычной
- Имя сотрудника в теме письма (Например, «Иван из Mindbox»).
- Прехедер:
- Наличие или отсутствие прехедера
- Призыв к действию («Подключите тариф Premium сегодня», «Сэкономьте до 50%»)
- Краткое содержимое письма (Тема письма — «Обновления февраля», прехедер — «Новые АБ-тесты в рассылках и еще 5 обновлений внутри»)
- Имя отправителя:
- Название компании против более персонализированного имени отправителя, например «Иван из Mindbox»
Увеличить Click Rate
На процент кликов в рассылке могут влиять:
- Оформление призыва к действию: шрифт, цвет, расположение и размер кнопок
- Наличие призыва к действию в каждой карточке товара
- Верстка товарной сетки: количество товаров, расположение элементов в карточках
- Порядок блоков в письме
- Длина письма
- Персонализация письма в зависимости от сегмента клиентов (например, баннеры только для покупателям определенной категории товаров)
- Использование рекомендаций
- Вывод цены до и после скидки
- Вывод цены на продукт с учетом доступных клиенту бонусных баллов
- Механики социального подтверждения («Эти товары купили более N раз»)
- Фотографии одежды: на моделях или без; одно изображение или несколько
Увеличить выручку
На совершение заказов из рассылки могут влиять:
- Наличие призыва к действию
- Использование рекомендаций вместо или в дополнение к товарной сетке с конкретными товарами
- Вывод цены до и после скидки
- Вывод цены на продукт с учетом доступных клиенту бонусных баллов
- Бонусы: разные размеры скидки, скидка рублями или баллами, бесплатная доставка
- Механики социального подтверждения («Эти товары купили более N раз»)
Настройки тестирования
- Критерий оценки — главный показатель, влияние на который планируется исследовать в ходе теста.
- Показатель открытий (только в канале Email) — процент клиентов, открывших рассылку за время тестирования.
- Показатель кликов — процент клиентов, сделавших хотя бы один клик в рассылке за время тестирования.
- Целевое действие — личное действие, совершенное клиентом за время тестирования.
При использовании контрольной группы нельзя выбрать показатели по открытию и кликам.
-
Время тестирования — период, в течение которого собираются и анализируются действия получателей рассылки. Спустя указанное время будет принято решение о результатах теста.
Рекомендуем задавать достаточное время тестирования, чтобы получатели могли успеть совершить основное целевое действие: 1-3 суток для конверсий в открытие или клики, 3-7 суток для конверсий в заказы или выручку. -
Средняя конверсия — можно определить среднее значение выбранного критерия по историческим данным.
-
Минимальная разница в отклике — на сколько процентов один вариант должен превосходить другой, чтобы считаться успешным.
-
Дополнительные настройки:
- Доверительная вероятность — процент вероятности, с которой результаты верны, если тест показал разницу.
- Мощность — процент вероятности, с которой результаты верны, если тест не показал разницу.
Итоги тестирования
Результаты тестирования можно посмотреть на странице рассылки:
