- 15 Jul 2024
- 4 минуты
- Темная темаСветлая тема
- формат pdf
АБ-тесты в сценариях
- Обновлено 15 Jul 2024
- 4 минуты
- Темная темаСветлая тема
- формат pdf
Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.
В сценарий можно добавлять до десяти АБ-тестов включительно.
Тесты должны проводиться параллельно, то есть их участники не должны пересекаться.
Настройка АБ-теста
Гипотеза — то, что планируется доказать или опровергнуть с помощью теста.
Трафик — распределение участников по вариантам в процентах. Можно задать свои названия для вариантов — это упростит просмотр отчета теста и поиск нужных клиентов.
Максимальное количество вариантов — пять, включая контрольную группу.
Учитывайте, что тест с тремя и более ветками будет длиться дольше, так как на сбор участников понадобится больше времени.
Аналитика — по каким метрикам будет определяться победитель теста.
- Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
Возвраты и отмены не учитываются во всех показателях.- Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
- Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
- Дополнительный целевой показатель — показатель, позволяющий смотреть динамику других важных метрик параллельно с основной. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и в основном показателе.
- Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте данные настройки только в том случае, если точно знаете, как это отразится на результатах теста.
Контрольная группа
В тесты можно добавить ветку с контрольной группой, с участниками которой не будет никакого взаимодействия:
Найти клиентов из контрольной группы можно будет с помощью фильтра.
Не путайте контрольную группу АБ-теста с глобальной контрольной группой
Участники АБ-теста
Участниками АБ-теста сценария считаются только те клиенты, которые:
- прошли блок АБ-теста;
- прошли группу шагов после блока АБ-теста или попали в ветку контрольной группы.
Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.
Фильтры по веткам теста
Участников из каждого варианта можно отобрать с помощью фильтра:
Рекомендации по настройке АБ-теста
Разберем возможные проблемы, которые стоит избегать при проектировании АБ-теста. Подсказки по этим пунктам также даются в интерфейсе сценария.
- Разная задержка в ожиданиях — участники, а значит, и показатели, в варианте с меньшим ожиданием будут набираться быстрее. Он может даже стать ложным победителем, пока остальные ветки только собирают участников и заказы. Играет роль и значение разницы между ветками: приемлемы ожидания с разницей до суток.
Например, пока вторая ветка в таком сценарии получит минимальное необходимое количество участников, в первой ветке их будет уже в семь раз больше. При этом у этих участников и времени на целевое действие больше, так как их заказы начинают учитываться уже через день после разделения по веткам теста:
- Длительное ожидание до АБ-теста — откладывает набор участников тестирования на заданное в ожидании время. Такая настройка не влияет на корректность результата, но отражается на длительности теста.
Например, такой сценарий начнет собирать участников только через 30 дней после запуска:
- Длительное ожидание после АБ-теста — увеличивает время прохождения ветки, из-за чего размывается эффект ее влияния на участников. Чем дольше клиент проходит ветку, чем больше других коммуникаций ему уходит, что может привести к ложным конверсиям в вариант теста.
Например, пользователи из такого сценария становятся участниками теста сразу при попадании, а завершают ветку только через неделю. То есть ее прохождение должно дать эффект через семь дней, а конверсии начнут учитываться сразу:
- «Условие» после блока теста и до шагов — может исказить распределение по веткам. Процентное разделение по вариантам происходит в блоке АБ-теста, а участниками теста клиенты становятся только после выполнения шага в выпавшей ветке. Поэтому, если в таком «Условии» из сценария выпадает много клиентов, реальное соотношение участников вариантов будет отличаться от заданного. Эти блоки должны быть настроены таким образом, чтобы все клиенты, попавшие в них, переходили в какой-либо блок «Группы шагов».
Например, клиенты из второй ветки такого сценария, у которых нет мобильного приложения, выпадут из теста, не дойдя до шагов. То есть реальное распределение участников будет не 50%/50%. В таких случаях стоит ставить проверку ещё до блока АБ-теста, чтобы все пользователи могли стать участниками вне зависимости от выпавшего варианта, а для остальных клиентов создать ветки вне теста:
- Объединение веток после теста — если взаимодействие с участниками веток по большей части идентично, вероятность разницы в метриках и нахождения победителя снижается.
Например, в таком сценарии в ветках различаются только первые шаги, а дальше — два одинаковых взаимодействия на протяжении шести часов. Для клиентов, дошедших до последней группы шагов, эффект первых тестируемых коммуникаций смазывается. Это снижает вероятность найти победителя в тесте:
- Общие рекомендации по запуску АБ-тестов.
Редактирование сценария с АБ-тестом
После запуска сценария на вкладке Отчеты → АБ-тесты появляется его тест:
Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.
- При редактировании сценария с АБ-тестом запускается новый тест для текущей версии, а старый завершается. Даже если изменение происходило в других блоках.
- При удалении сценария или блока тест завершается, но не удаляется. Его можно удалить вручную.
- При остановке сценария тест также останавливается.
Отчет АБ-теста
В отчет можно попасть как из блока сценария, так со страницы теста:
Отчет формируется в течение 24 часов после запуска теста.
Внутри отчета можно увидеть графики и таблицу со значениями по основному и дополнительным показателям.
В статистике варианта учитываются заказы, совершенные:
- с момента попадания в участники теста, то есть после выполнения первого же шага в ветке или попадания в контрольную группу;
- без ограничения по времени от попадания в тест до заказа — главное, чтобы тест к моменту покупки был всё ещё запущен.