АБ-тесты в сценариях
  • 15 Jul 2024
  • 4 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты в сценариях

  • Темная тема
    Светлая тема
  • формат pdf

Вводный текст

Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

Снимок экрана 2024-07-04 в 11.50.01.png

В сценарий можно добавлять до десяти АБ-тестов включительно.
Тесты должны проводиться параллельно, то есть их участники не должны пересекаться.

Настройка АБ-теста

Гипотеза — то, что планируется доказать или опровергнуть с помощью теста.

Снимок экрана 2024-07-04 в 13.50.30.png

Трафик — распределение участников по вариантам в процентах. Можно задать свои названия для вариантов — это упростит просмотр отчета теста и поиск нужных клиентов.

Снимок экрана 2024-07-04 в 13.55.02.png

Максимальное количество вариантов — пять, включая контрольную группу.
Учитывайте, что тест с тремя и более ветками будет длиться дольше, так как на сбор участников понадобится больше времени.

Аналитика — по каким метрикам будет определяться победитель теста.

Снимок экрана 2024-07-04 в 14.16.07.png

  • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
    Возвраты и отмены не учитываются во всех показателях.
    • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
    • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику других важных метрик параллельно с основной. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и в основном показателе.
  • Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
    Меняйте данные настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Контрольная группа

В тесты можно добавить ветку с контрольной группой, с участниками которой не будет никакого взаимодействия:

кг1.png

кг2.png

Найти клиентов из контрольной группы можно будет с помощью фильтра.

Не путайте контрольную группу АБ-теста с глобальной контрольной группой

Участники АБ-теста

Участниками АБ-теста сценария считаются только те клиенты, которые:

  • прошли блок АБ-теста;
  • прошли группу шагов после блока АБ-теста или попали в ветку контрольной группы.

Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.

Фильтры по веткам теста

Участников из каждого варианта можно отобрать с помощью фильтра:

Снимок экрана 2024-07-04 в 16.11.44.png

Снимок экрана 2024-07-04 в 16.11.57.png

Рекомендации по настройке АБ-теста

Разберем возможные проблемы, которые стоит избегать при проектировании АБ-теста. Подсказки по этим пунктам также даются в интерфейсе сценария.

  • Разная задержка в ожиданиях — участники, а значит, и показатели, в варианте с меньшим ожиданием будут набираться быстрее. Он может даже стать ложным победителем, пока остальные ветки только собирают участников и заказы. Играет роль и значение разницы между ветками: приемлемы ожидания с разницей до суток.
    Например, пока вторая ветка в таком сценарии получит минимальное необходимое количество участников, в первой ветке их будет уже в семь раз больше. При этом у этих участников и времени на целевое действие больше, так как их заказы начинают учитываться уже через день после разделения по веткам теста:

    Снимок экрана 2024-07-04 в 17.23.44.png

  • Длительное ожидание до АБ-теста — откладывает набор участников тестирования на заданное в ожидании время. Такая настройка не влияет на корректность результата, но отражается на длительности теста.
    Например, такой сценарий начнет собирать участников только через 30 дней после запуска:

    Снимок экрана 2024-07-04 в 17.30.00.png

  • Длительное ожидание после АБ-теста — увеличивает время прохождения ветки, из-за чего размывается эффект ее влияния на участников. Чем дольше клиент проходит ветку, чем больше других коммуникаций ему уходит, что может привести к ложным конверсиям в вариант теста.
    Например, пользователи из такого сценария становятся участниками теста сразу при попадании, а завершают ветку только через неделю. То есть ее прохождение должно дать эффект через семь дней, а конверсии начнут учитываться сразу:

    Снимок экрана 2024-07-05 в 11.07.54.png

  • «Условие» после блока теста и до шагов — может исказить распределение по веткам. Процентное разделение по вариантам происходит в блоке АБ-теста, а участниками теста клиенты становятся только после выполнения шага в выпавшей ветке. Поэтому, если в таком «Условии» из сценария выпадает много клиентов, реальное соотношение участников вариантов будет отличаться от заданного. Эти блоки должны быть настроены таким образом, чтобы все клиенты, попавшие в них, переходили в какой-либо блок «Группы шагов».
    Например, клиенты из второй ветки такого сценария, у которых нет мобильного приложения, выпадут из теста, не дойдя до шагов. То есть реальное распределение участников будет не 50%/50%. В таких случаях стоит ставить проверку ещё до блока АБ-теста, чтобы все пользователи могли стать участниками вне зависимости от выпавшего варианта, а для остальных клиентов создать ветки вне теста:

    Снимок экрана 2024-07-04 в 17.59.07.png

  • Объединение веток после теста — если взаимодействие с участниками веток по большей части идентично, вероятность разницы в метриках и нахождения победителя снижается.
    Например, в таком сценарии в ветках различаются только первые шаги, а дальше — два одинаковых взаимодействия на протяжении шести часов. Для клиентов, дошедших до последней группы шагов, эффект первых тестируемых коммуникаций смазывается. Это снижает вероятность найти победителя в тесте:

    Снимок экрана 2024-07-12 в 14.57.03.png

  • Общие рекомендации по запуску АБ-тестов.

Редактирование сценария с АБ-тестом

После запуска сценария на вкладке ОтчетыАБ-тесты появляется его тест:

Снимок экрана 2024-07-04 в 16.16.41.png

Снимок экрана 2024-07-04 в 16.19.22.png

Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.

  • При редактировании сценария с АБ-тестом запускается новый тест для текущей версии, а старый завершается. Даже если изменение происходило в других блоках.
  • При удалении сценария или блока тест завершается, но не удаляется. Его можно удалить вручную.
  • При остановке сценария тест также останавливается.

Отчет АБ-теста

В отчет можно попасть как из блока сценария, так со страницы теста:

в отчет.png

Отчет формируется в течение 24 часов после запуска теста.

Внутри отчета можно увидеть графики и таблицу со значениями по основному и дополнительным показателям.

В статистике варианта учитываются заказы, совершенные:

  • с момента попадания в участники теста, то есть после выполнения первого же шага в ветке или попадания в контрольную группу;
  • без ограничения по времени от попадания в тест до заказа — главное, чтобы тест к моменту покупки был всё ещё запущен.
Калькулятор AB-тестов — расчет размера выборки при подготовке к AB-тесту и оценка результата.