АБ-тесты по сегментам

В части механик (сценарии, персонализация, in-app) можно настраивать собственные АБ-тесты для тестирования гипотез по улучшению их показателей.

АБ-тесты по сегментам позволяют проверять любые другие кампании, например, рассылки, медиа, промоакции.

Для этого нужно:

1. Создать АБ-тест. Указать в нем сегмент для тестирования, количество вариантов, их долю от участников и целевой показатель, по которому будет оцениваться результат теста: средний чек или конверсия в заказ.
2. С помощью фильтров добавить каждую из веток в соответствующие механики.
3. Дождаться определения статистической значимости одного из вариантов или опровержения гипотезы о влиянии кампании.

Чтобы добавить тест:

1. На вкладке Кампании → АБ-тесты нажмите «Создать тест» → «Сегмента»:

2. Заполните настройки:

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.

Участники — сегмент, на котором планируется проводить тест. Чем меньше эта группа, тем больше будет длиться тест.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

• Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
  Возвраты и отмены не учитываются во всех показателях.
  • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
  • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Тест можно запускать.

3. Создайте сегменты с участниками каждого варианта.

После запуска теста становится доступным фильтр для отбора его участников:

Клиенты попадают в него сразу, как оказываются в сегменте, по которому настроен АБ-тест.

Создайте сегменты для каждого варианта. Тип сегмента зависит от тестируемой механики: часто кампании принимают только пересчитываемые или статические сегменты.

4. Добавьте созданные сегменты в тестируемые кампании.

Отчет АБ-теста

Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.

Отчет формируется в течение 24 часов после запуска теста.

Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.

Учитывайте, что если один АБ-тест используется для нескольких механик (например, для рассылки и для промоакции), то в отчете будут данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики отдельный АБ-тест.