АБ-тесты в сценариях

Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

Как создать АБ-тест в сценарии

Для настройки АБ-теста в сценарии нужно создать сценарий — это можно сделать с помощью этой статьи.

Внутри сценария выберите блок «АБ-тест» и перетащите его на канву.

В сценарии может быть только один АБ-тест. Каждый выход из блока АБ-теста должен содержать хотя бы одну группу шагов.

Как настроить АБ-тест

Слева соедините блок с событием или условием, после которого пользователь должен попадать в какой-то из вариантов теста.

Внутри АБ-теста есть необходимые и дополнительные настройки.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

После заполнения всех полей нажмите на кнопку «Сохранить» во вкладке редактирования АБ-теста. После этого АБ-тест будет создан.

Как использовать АБ-тест

После настройки блока теста и следующих шагов можно запустить сценарий. Во вкладке «Кампании» → «АБ-тесты» появится новый тест из сценария — иконка тестов из сценариев отличается от иконки АБ-тестов сегментов на проекте.

Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.

При удалении сценария АБ-тест будет остановлен автоматически, но не удален, чтобы была возможность вернуться к статистике в нем. При необходимости его можно удалить вручную на странице нужного теста во вкладке «Кампании» → «АБ-тесты».

Участники АБ-теста

Участниками АБ-теста считаются все клиенты, которые участвовали в сценарии, то есть проходили через любой блок «Группа шагов». Это нужно учитывать при построении сценариев, где:

• перед АБ-тестом есть блоки «Группа шагов», а затем «Условие»;
• в сценарии в соседних ветках без АБ-теста есть «Группы шагов».

В таких случаях клиенты, которые вышли из сценария по условию после шагов или участвовали в шагах в других ветках, тоже входят в число участников теста.

Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.

Отчет АБ-теста

На следующий день после запуска сценария с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.

Важно — если сценарий может отрабатывать несколько раз на клиенте, то клиент при каждом срабатывании будет попадать в одну и ту же ветку АБ-теста.

В отчет АБ-теста можно попасть как из сценария, кликнув на «Смотреть отчет» в блоке с тестом, так и во вкладке «Кампании» → «АБ-тесты» на проекте.

Когда АБ-тест показал значимые результаты, тест при этом остается запущеным, но информирует, что его можно завершать (текст в статусе АБ-теста "Есть результат"), статус сценария при этом не меняется.

То, как читать отчет АБ-теста, описано здесь.