АБ-тесты по сегментам

В части механик (сценарии, персонализация, in-app) можно настраивать собственные АБ-тесты для тестирования гипотез по улучшению их показателей.

АБ-тесты по сегментам позволяют проверять любые другие кампании, например, рассылки, медиа, промоакции.

Для этого нужно:

1. Создать АБ-тест. Указать в нем сегмент для тестирования, количество вариантов, их долю от участников и целевой показатель, по которому будет оцениваться результат теста: средний чек или конверсия в заказ.
2. С помощью фильтров добавить каждую из веток в соответствующие механики.
3. Дождаться определения статистической значимости одного из вариантов или опровержения гипотезы о влиянии кампании.

---

Как добавить тестКак добавить тест

1. На вкладке Аналитика → АБ-тесты нажмите «Создать тест» → «Сегмента»:

   

2. Заполните настройки:

   Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

   

   Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

   

   Тесты более чем с двумя ветками:

   • Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
   • Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.

   Неравные доли вариантов:

   • Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%

   Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.

   АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.

   Участники — сегмент, на котором планируется проводить тест. Чем меньше эта группа, тем больше будет длиться тест.

   

   Если клиент выпадает из сегмента, он также перестает попадать под фильтр по участникам АБ-теста.
   При этом в отчете по АБ-тесту он останется участником, и в отчете будут учитываться его действия за все время теста.

   Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

   

   Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

   • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
     Возвраты и отмены не учитываются во всех показателях.

     • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
     • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
     • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
     • Конверсия в действие клиента — процент участников, совершивших выбранное личное действие после попадания в тест. Доступна, если на проекте есть целевое действие типа «Личные действия». Учитывает только действия идентифицированных клиентов.

   • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

   Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
   Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

   

   Тест можно запускать.

   Перед включением

   Проверьте настройки теста, так как после запуска можно редактировать только его название.

3. Создайте сегменты с участниками каждого варианта.

   После запуска теста становится доступным фильтр для отбора его участников:

   

   Клиенты попадают в него сразу, как оказываются в сегменте, по которому настроен АБ-тест.

   Создайте сегменты с участниками каждого варианта. Тип сегмента зависит от тестируемой механики: часто кампании принимают только пересчитываемые или статические сегменты.

4. Добавьте созданные сегменты в тестируемые кампании.

Отчет АБ-тестаОтчет АБ-теста

Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.

Отчет формируется в течение 24 часов после запуска теста.

Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.

Учитывайте, что если один АБ-тест используется для нескольких механик (например, для рассылки и для промоакции), то в отчете будут данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики отдельный АБ-тест.