Как работают АБ-тесты

В этой статье рассказываем о новом механизме АБ-тестов в Mindbox. Он позволяет:

• математически корректно распределять участников сегмента по веткам с заданной вероятностью;
• автоматически сравнивать различные показатели в этих ветках.

Эти АБ-тесты можно использовать для запуска различных механик в Mindbox.

Как создать АБ-тест

АБ-тесты находятся во вкладке «Кампании» → «АБ-тесты».

Для настройки АБ-теста нажмите на зеленую кнопку «Создать тест» в правом верхнем углу страницы «АБ-тесты».

Как настроить АБ-тест

Внутри АБ-теста есть необходимые и дополнительные настройки.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

Сегмент — группа людей, на которой вы планируете проводить тест. Чем меньше эта группа, тем больше будет длиться тест.

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

После заполнения всех полей можно запускать АБ-тест по зеленой кнопке в правом верхнем углу. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

Как использовать АБ-тест

После запуска вы можете построить фильтр, чтобы найти участников конкретного варианта АБ-теста и создать сегмент.

Когда по каждому варианту АБ-теста созданы сегменты, их можно использовать в различных механиках — настроить таргетинг попапов, отправить рассылки, использовать в медиа, в сценариях или акциях. Например, можно создать два сегмента по двум вариантам АБ-теста, и первому сегменту выдать скидку в 10%, а второму — в 15%. По итогу работы АБ-теста можно увидеть по конверсии и среднему чеку, что было эффективнее.

Клиенты попадают в фильтр по АБ-тесту сразу, как оказываются в сегменте, по которому был настроен АБ-тест.

Отчет АБ-теста

Уже через сутки после запуска АБ-теста в отчете появятся данные по всем вариантам этого теста.

Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что статистически значимо варианты не отличаются, то у конкретного показателя будет указано, что варианты не отличаются между собой, и поэтому победителя нет. Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека. Стрелки показывают разницу в процентах и рублях по сравнению с вариантом 0.

Учитывайте, что если вы используете один АБ-тест для разных механик (например, для рассылки и для попапа), то в отчете вы увидите данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики свой АБ-тест.

Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.