Как работают АБ-тесты
  • 06 Feb 2023
  • 3 минуты
  • Темная тема
    Светлая тема
  • формат pdf

Как работают АБ-тесты

  • Темная тема
    Светлая тема
  • формат pdf

Article Summary

В этой статье рассказываем о новом механизме АБ-тестов в Mindbox. Он позволяет:

  • математически корректно распределять участников сегмента по веткам с заданной вероятностью;
  • автоматически сравнивать различные показатели в этих ветках.

Эти АБ-тесты можно использовать для запуска различных механик в Mindbox.

Как создать АБ-тест

АБ-тесты находятся во вкладке «Кампании» → «АБ-тесты».

Снимок экрана 2022-06-23 в 14.30.31.png

Для настройки АБ-теста нажмите на зеленую кнопку «Создать тест» в правом верхнем углу страницы «АБ-тесты».

Как настроить АБ-тест

Внутри АБ-теста есть необходимые и дополнительные настройки.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Снимок экрана 2022-06-23 в 14.32.23.png

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Снимок экрана 2022-06-23 в 14.37.22.png

В этом разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.

Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.

Сегмент — группа людей, на которой вы планируете проводить тест. Чем меньше эта группа, тем больше будет длиться тест.

Снимок экрана 2022-06-23 в 14.42.35.png

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

Снимок экрана 2022-06-23 в 14.43.12.png

Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Снимок экрана 2022-06-23 в 14.44.28.png

После заполнения всех полей можно запускать АБ-тест по зеленой кнопке в правом верхнем углу. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

После запуска АБ-теста редактировать можно только его название. Пожалуйста, внимательно проверьте настройки теста перед запуском.

Как использовать АБ-тест

После запуска вы можете построить фильтр, чтобы найти участников конкретного варианта АБ-теста и создать сегмент.

Снимок экрана 2022-06-23 в 14.48.39.png

Когда по каждому варианту АБ-теста созданы сегменты, их можно использовать в различных механиках — настроить таргетинг попапов, отправить рассылки, использовать в медиа, в сценариях или акциях. Например, можно создать два сегмента по двум вариантам АБ-теста, и первому сегменту выдать скидку в 10%, а второму — в 15%. По итогу работы АБ-теста можно увидеть по конверсии и среднему чеку, что было эффективнее.

Клиенты попадают в фильтр по АБ-тесту сразу, как оказываются в сегменте, по которому был настроен АБ-тест.

АБ-тест не останавливается сам, поэтому нужно остановить его вручную после получения уведомления о наличии статистической значимости. После остановки АБ-теста его нельзя запустить повторно.

Отчет АБ-теста

Уже через сутки после запуска АБ-теста в отчете появятся данные по всем вариантам этого теста.

Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что статистически значимо варианты не отличаются, то у конкретного показателя будет указано, что варианты не отличаются между собой, и поэтому победителя нет. Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Снимок экрана 2022-06-23 в 14.52.04.png

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека. Стрелки показывают разницу в процентах и рублях по сравнению с вариантом 0.

Снимок экрана 2022-06-23 в 14.53.09.png

Учитывайте, что если вы используете один АБ-тест для разных механик (например, для рассылки и для попапа), то в отчете вы увидите данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики свой АБ-тест.

Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.

Калькулятор AB-тестов - расчет размера выборки при подготовке к AB-тесту и оценка результата.

Была ли эта статья полезной?