- 06 Feb 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
Как работают АБ-тесты
- Обновлено 06 Feb 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
В этой статье рассказываем о новом механизме АБ-тестов в Mindbox. Он позволяет:
- математически корректно распределять участников сегмента по веткам с заданной вероятностью;
- автоматически сравнивать различные показатели в этих ветках.
Эти АБ-тесты можно использовать для запуска различных механик в Mindbox.
Как создать АБ-тест
АБ-тесты находятся во вкладке «Кампании» → «АБ-тесты».
Для настройки АБ-теста нажмите на зеленую кнопку «Создать тест» в правом верхнем углу страницы «АБ-тесты».
Как настроить АБ-тест
Внутри АБ-теста есть необходимые и дополнительные настройки.
Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.
Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.
В этом разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.
Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.
Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.
Сегмент — группа людей, на которой вы планируете проводить тест. Чем меньше эта группа, тем больше будет длиться тест.
Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».
Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.
Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
После заполнения всех полей можно запускать АБ-тест по зеленой кнопке в правом верхнем углу. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.
После запуска АБ-теста редактировать можно только его название. Пожалуйста, внимательно проверьте настройки теста перед запуском.
Как использовать АБ-тест
После запуска вы можете построить фильтр, чтобы найти участников конкретного варианта АБ-теста и создать сегмент.
Когда по каждому варианту АБ-теста созданы сегменты, их можно использовать в различных механиках — настроить таргетинг попапов, отправить рассылки, использовать в медиа, в сценариях или акциях. Например, можно создать два сегмента по двум вариантам АБ-теста, и первому сегменту выдать скидку в 10%, а второму — в 15%. По итогу работы АБ-теста можно увидеть по конверсии и среднему чеку, что было эффективнее.
Клиенты попадают в фильтр по АБ-тесту сразу, как оказываются в сегменте, по которому был настроен АБ-тест.
АБ-тест не останавливается сам, поэтому нужно остановить его вручную после получения уведомления о наличии статистической значимости. После остановки АБ-теста его нельзя запустить повторно.
Отчет АБ-теста
Уже через сутки после запуска АБ-теста в отчете появятся данные по всем вариантам этого теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.
Если тест показал, что статистически значимо варианты не отличаются, то у конкретного показателя будет указано, что варианты не отличаются между собой, и поэтому победителя нет. Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.
Под графиками можно увидеть таблицу с конверсией и суммами среднего чека. Стрелки показывают разницу в процентах и рублях по сравнению с вариантом 0.
Учитывайте, что если вы используете один АБ-тест для разных механик (например, для рассылки и для попапа), то в отчете вы увидите данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики свой АБ-тест.
Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.