АБ-тесты по сегментам
  • 30 Jul 2024
  • 2 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты по сегментам

  • Темная тема
    Светлая тема
  • формат pdf

Вводный текст

В части механик (сценарии, персонализация, in-app) можно настраивать собственные АБ-тесты для тестирования гипотез по улучшению их показателей.

АБ-тесты по сегментам позволяют проверять любые другие кампании, например, рассылки, медиа, промоакции.

Для этого нужно:

  1. Создать АБ-тест. Указать в нем сегмент для тестирования, количество вариантов, их долю от участников и целевой показатель, по которому будет оцениваться результат теста: средний чек или конверсия в заказ.
  2. С помощью фильтров добавить каждую из веток в соответствующие механики.
  3. Дождаться определения статистической значимости одного из вариантов или опровержения гипотезы о влиянии кампании.

Чтобы добавить тест:

  1. На вкладке КампанииАБ-тесты нажмите «Создать тест» → «Сегмента»:

создать аб-тест сегмента.png

  1. Заполните настройки:

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Снимок экрана 2022-06-23 в 14.32.23.png

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Снимок экрана 2022-06-23 в 14.37.22.png

Тесты более чем с двумя ветками

  • Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
  • Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.

Неравные доли вариантов

  • Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%

Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.

АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.

Участники — сегмент, на котором планируется проводить тест. Чем меньше эта группа, тем больше будет длиться тест.

Снимок экрана 2022-06-23 в 14.42.35.png

Если клиент выпадает из сегмента, он также перестает попадать под фильтр по участникам АБ-теста.
При этом в отчете по АБ-тесту он останется участником, и в отчете будут учитываться его действия за все время теста.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

Снимок экрана 2022-06-23 в 14.43.12.png

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

  • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
    Возвраты и отмены не учитываются во всех показателях.
    • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
    • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Снимок экрана 2022-06-23 в 14.44.28.png

Тест можно запускать.

Перед включением

Проверьте настройки теста, так как после запуска можно редактировать только его название.

  1. Создайте сегменты с участниками каждого варианта.

После запуска теста становится доступным фильтр для отбора его участников:

Снимок экрана 2022-06-23 в 14.48.39.png

Клиенты попадают в него сразу, как оказываются в сегменте, по которому настроен АБ-тест.

Создайте сегменты для каждого варианта. Тип сегмента зависит от тестируемой механики: часто кампании принимают только пересчитываемые или статические сегменты.

  1. Добавьте созданные сегменты в тестируемые кампании.

Отчет АБ-теста

Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.

АБ-тест не останавливается сам, поэтому нужно остановить его вручную после получения уведомления о наличии статистической значимости. После остановки АБ-теста его нельзя запустить повторно.

Отчет формируется в течение 24 часов после запуска теста.

Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Снимок экрана 2022-06-23 в 14.52.04.png

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.

Снимок экрана 2022-06-23 в 14.53.09.png

Учитывайте, что если один АБ-тест используется для нескольких механик (например, для рассылки и для промоакции), то в отчете будут данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики отдельный АБ-тест.

Калькулятор AB-тестов — расчет размера выборки при подготовке к AB-тесту и оценка результата.