- 24 Apr 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
АБ-тесты в сценариях
- Обновлено 24 Apr 2023
- 3 минуты
- Темная темаСветлая тема
- формат pdf
Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.
Как создать АБ-тест в сценарии
Для настройки АБ-теста в сценарии нужно создать сценарий — это можно сделать с помощью этой статьи.
Внутри сценария выберите блок «АБ-тест» и перетащите его на канву.
В сценарии может быть только один АБ-тест. Каждый выход из блока АБ-теста должен содержать хотя бы одну группу шагов.
Как настроить АБ-тест
Слева соедините блок с событием или условием, после которого пользователь должен попадать в какой-то из вариантов теста.
Внутри АБ-теста есть необходимые и дополнительные настройки.
Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.
Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.
В этом разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.
Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста. Но участие в контрольной группе учитывается внутри рассылок, которые отправляются из сценария.
Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».
Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.
Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
После заполнения всех полей нажмите на кнопку «Сохранить» во вкладке редактирования АБ-теста. После этого АБ-тест будет создан.
Как использовать АБ-тест
После настройки блока теста и следующих шагов можно запустить сценарий. Во вкладке «Кампании» → «АБ-тесты» появится новый тест из сценария — иконка тестов из сценариев отличается от иконки АБ-тестов сегментов на проекте.
Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.
При запуске новой версии сценария будет запущена и новая версия АБ-теста.
Старая версия АБ-теста автоматически остановится при запуске новой версии сценария.
При удалении сценария АБ-тест будет остановлен автоматически, но не удален, чтобы была возможность вернуться к статистике в нем. При необходимости его можно удалить вручную на странице нужного теста во вкладке «Кампании» → «АБ-тесты».
Участники АБ-теста
Участниками АБ-теста считаются все клиенты, которые участвовали в сценарии, то есть проходили через любой блок «Группа шагов». Это нужно учитывать при построении сценариев, где:
- перед АБ-тестом есть блоки «Группа шагов», а затем «Условие»;
- в сценарии в соседних ветках без АБ-теста есть «Группы шагов».
В таких случаях клиенты, которые вышли из сценария по условию после шагов или участвовали в шагах в других ветках, тоже входят в число участников теста.
Это может завышать количество участников и занижать показатели и статистическую значимость, но не влияет на определение победившего варианта АБ-теста.
Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.
Отчет АБ-теста
На следующий день после запуска сценария с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.
Важно — если сценарий может отрабатывать несколько раз на клиенте, то клиент при каждом срабатывании будет попадать в одну и ту же ветку АБ-теста.
В отчет АБ-теста можно попасть как из сценария, кликнув на «Смотреть отчет» в блоке с тестом, так и во вкладке «Кампании» → «АБ-тесты» на проекте.
Когда АБ-тест показал значимые результаты, тест при этом остается запущеным, но информирует, что его можно завершать (текст в статусе АБ-теста "Есть результат"), статус сценария при этом не меняется.
То, как читать отчет АБ-теста, описано здесь.