АБ-тесты в сценариях
В сценариях есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью и проверить гипотезы по влиянию на различные показатели.
В сценарий можно добавить до десяти АБ-тестов включительно.
Настройка АБ-теста
Гипотеза — то, что планируется доказать или опровергнуть с помощью теста.
Трафик — распределение участников по вариантам в процентах. Можно задать свои названия для вариантов — это упростит просмотр отчета теста и поиск нужных клиентов.
Максимальное количество вариантов — пять, включая контрольную группу.
Учитывайте, что тест с тремя и более ветками будет длиться дольше, так как на сбор участников понадобится больше времени.
Аналитика — по каким метрикам будет определяться победитель теста.
- Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
- Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
- Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
Возвраты и отмены не учитываются во всех показателях.
- Дополнительный целевой показатель — показатель, позволяющий смотреть динамику других важных метрик параллельно с основной. Например, если при росте конверсии в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и в основном показателе.
- Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте данные настройки только в том случае, если точно знаете, как это отразится на результатах теста.
Контрольная группа
В тесты можно добавить ветку с контрольной группой, с участниками которой не будет никакого взаимодействия в рамках сценария:
Найти клиентов из контрольной группы можно будет с помощью фильтра.
Не путайте контрольную группу АБ-теста с глобальной контрольной группой.
ГКГ не влияет на сценарий, и клиенты из нее равномерно распределяются по веткам. При этом они могут исключаться на уровне рассылок, что может повлиять на соотношение реальных отправок из вариантов.
Подробнее
Участники АБ-теста
Участниками АБ-теста сценария считаются только те клиенты, которые:
- прошли блок АБ-теста;
- успешно прошли группу шагов после блока АБ-теста или попали в ветку контрольной группы.
Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.
Фильтры по веткам теста
Участников из каждого варианта можно отобрать с помощью фильтра:
Рекомендации по настройке АБ-теста
Разберем возможные проблемы, которые стоит избегать при проектировании АБ-теста. Подсказки по этим пунктам также даются в интерфейсе сценария.
- Разная задержка в ожиданиях — участники, а значит, и показатели, в варианте с меньшим ожиданием будут набираться быстрее. Он может даже стать ложным победителем, пока остальные ветки только собирают участников и заказы.
Играет роль и значение разницы между ветками: приемлемы ожидания с разницей до суток.
Например, пока вторая ветка в таком сценарии получит минимальное необходимое количество участников, в первой ветке их будет уже в семь раз больше. При этом у этих участников и времени на целевое действие больше, так как их заказы начинают учитываться уже через день после разделения по веткам теста:
- Длительное ожидание до АБ-теста — откладывает набор участников тестирования на заданное в ожидании время. Такая настройка не влияет на корректность результата, но отражается на длительности теста.
Например, такой сценарий начнет собирать участников только через 30 дней после запуска:
- Длительное ожидание после АБ-теста — увеличивает время прохождения ветки, из-за чего размывается эффект ее влияния на участников.
Чем дольше клиент проходит ветку, чем больше других коммуникаций ему уходит, что может привести к ложным конверсиям в вариант теста.
Например, пользователи из такого сценария становятся участниками теста сразу при попадании, а завершают ветку только через неделю. То есть ее прохождение должно дать эффект через семь дней, а конверсии начнут учитываться сразу:
- «Условие» после блока теста и до шагов — может исказить распределение по веткам.
Процентное разделение по вариантам происходит в блоке АБ-теста, а участниками теста клиенты становятся только после выполнения шага в выпавшей ветке.
Поэтому, если в таком «Условии» из сценария выпадает много клиентов, реальное соотношение участников вариантов будет отличаться от заданного. Эти блоки должны быть настроены таким образом, чтобы все клиенты, попавшие в них, переходили в какой-либо блок «Группы шагов».
Например, клиенты из второй ветки такого сценария, у которых нет мобильного приложения, выпадут из теста, не дойдя до шагов. То есть реальное распределение участников будет не 50%/50%. В таких случаях стоит ставить проверку ещё до блока АБ-теста, чтобы все пользователи могли стать участниками вне зависимости от выпавшего варианта, а для остальных клиентов создать ветки вне теста:
- Объединение веток после теста — если взаимодействие с участниками веток по большей части идентично, вероятность разницы в метриках и нахождения победителя снижается.
Например, в таком сценарии в ветках различаются только первые шаги, а дальше — два одинаковых взаимодействия на протяжении шести часов. Для клиентов, дошедших до последней группы шагов, эффект первых тестируемых коммуникаций смазывается. Это снижает вероятность найти победителя в тесте:
- Общие рекомендации по запуску АБ-тестов.
Редактирование сценария с АБ-тестом
После запуска сценария на вкладке Аналитика → АБ-тесты появляется его тест:
Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.
- При редактировании сценария с АБ-тестом запускается новый тест для текущей версии, а старый завершается. Даже если изменение происходило в других блоках.
- При удалении сценария или блока тест завершается, но не удаляется. Его можно удалить вручную.
- При остановке сценария тест также останавливается.
Отчет АБ-теста
В отчет можно попасть как из блока сценария, так со страницы теста:
Отчет формируется в течение 24 часов после запуска теста. Если тест длился менее 24 часов, отчет по нему сформирован не будет.
Внутри отчета можно увидеть графики и таблицу со значениями по основному и дополнительным показателям.
В статистике варианта учитываются заказы, совершенные:
- с момента попадания в участники теста, то есть после выполнения первого же шага в ветке или попадания в контрольную группу;
- без ограничения по времени от попадания в тест до заказа — главное, чтобы тест к моменту покупки был всё ещё запущен.
Почему участников в отчете меньше, чем прохождений в сценарии
Участником АБ-теста является клиент, который успешно прошел группу шагов после распределения по веткам теста. Если выполнения шагов не произошло, то общее количество участников может быть меньше, чем количество прохождений.
Причины, почему клиент не прошел группу шагов:
Пример. Загрузка исторических событий
- АБ-тест в сценарии распределяет клиентов 50/50 на контрольную и тестовую группы.
- Актуальность шагов тестовой группы — 1 день. По умолчанию актуальность контрольной группы равна 7 дням.
- Историческое событие произошло 6 дней назад.
По прохождениям видим, что 13 уникальных клиентов прошли в контрольную группу и 13 в тестовую. По отчету АБ-теста в тестовую группу прошло всего 7 человек:
Это произошло из-за того, что 6 уникальных клиентов с историческим событием не смогли пройти группу шагов по актуальности. При этом на контрольной группе это не отобразилось из-за большего периода актуальности.
