АБ-тесты в сценариях

Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

Настройка АБ-теста

Гипотеза — то, что планируется доказать или опровергнуть с помощью теста.

Трафик — распределение участников по вариантам в процентах. Можно задать свои названия для вариантов — это упростит просмотр отчета теста и поиск нужных клиентов.

Аналитика — по каким метрикам будет определяться победитель теста.

• Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
  Возвраты и отмены не учитываются во всех показателях.
  • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
  • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
  • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику других важных метрик параллельно с основной. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и в основном показателе.
• Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
  Меняйте данные настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Контрольная группа

В тесты можно добавить ветку с контрольной группой, с участниками которой не будет никакого взаимодействия:

Найти клиентов из контрольной группы можно будет с помощью фильтра.

Участники АБ-теста

Участниками АБ-теста сценария считаются только те клиенты, которые:

• прошли блок АБ-теста;
• прошли группу шагов после блока АБ-теста или попали в ветку контрольной группы.

Если клиент попал в сценарий и был отнесён к одной из веток АБ-теста, то при повторном попадании в этот сценарий с АБ-тестом клиент будет отнесён к той же ветке.

Фильтры по веткам теста

Участников из каждого варианта можно отобрать с помощью фильтра:

Рекомендации по настройке АБ-теста

Разберем возможные проблемы, которые стоит избегать при проектировании АБ-теста. Подсказки по этим пунктам также даются в интерфейсе сценария.

• Разная задержка в ожиданиях — участники, а значит, и показатели, в варианте с меньшим ожиданием будут набираться быстрее. Он может даже стать ложным победителем, пока остальные ветки только собирают участников и заказы. Играет роль и значение разницы между ветками: приемлемы ожидания с разницей до суток.

  Например, пока вторая ветка в таком сценарии получит минимальное необходимое количество участников, в первой ветке их будет уже в семь раз больше. При этом у этих участников и времени на целевое действие больше, так как их заказы начинают учитываться уже через день после разделения по веткам теста:

  

• Длительное ожидание до АБ-теста — откладывает набор участников тестирования на заданное в ожидании время. Такая настройка не влияет на корректность результата, но отражается на длительности теста.

  Например, такой сценарий начнет собирать участников только через 30 дней после запуска:

  

• Длительное ожидание после АБ-теста — увеличивает время прохождения ветки, из-за чего размывается эффект ее влияния на участников. Чем дольше клиент проходит ветку, чем больше других коммуникаций ему уходит, что может привести к ложным конверсиям в вариант теста.

  Например, пользователи из такого сценария становятся участниками теста сразу при попадании, а завершают ветку только через неделю. То есть ее прохождение должно дать эффект через семь дней, а конверсии начнут учитываться сразу:

  

• «Условие» после блока теста и до шагов — может исказить распределение по веткам. Процентное разделение по вариантам происходит в блоке АБ-теста, а участниками теста клиенты становятся только после выполнения шага в выпавшей ветке. Поэтому, если в таком «Условии» из сценария выпадает много клиентов, реальное соотношение участников вариантов будет отличаться от заданного. Эти блоки должны быть настроены таким образом, чтобы все клиенты, попавшие в них, переходили в какой-либо блок «Группы шагов».

  Например, клиенты из второй ветки такого сценария, у которых нет мобильного приложения, выпадут из теста, не дойдя до шагов. То есть реальное распределение участников будет не 50%/50%. В таких случаях стоит ставить проверку ещё до блока АБ-теста, чтобы все пользователи могли стать участниками вне зависимости от выпавшего варианта, а для остальных клиентов создать ветки вне теста:

  

• Объединение веток после теста — если взаимодействие с участниками веток по большей части идентично, вероятность разницы в метриках и нахождения победителя снижается.

  Например, в таком сценарии в ветках различаются только первые шаги, а дальше — два одинаковых взаимодействия на протяжении шести часов. Для клиентов, дошедших до последней группы шагов, эффект первых тестируемых коммуникаций смазывается. Это снижает вероятность найти победителя в тесте:

  

• Общие рекомендации по запуску АБ-тестов.

Редактирование сценария с АБ-тестом

После запуска сценария на вкладке Отчеты → АБ-тесты появляется его тест:

Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.

• При редактировании сценария с АБ-тестом запускается новый тест для текущей версии, а старый завершается. Даже если изменение происходило в других блоках.
• При удалении сценария или блока тест завершается, но не удаляется. Его можно удалить вручную.
• При остановке сценария тест также останавливается.

Отчет АБ-теста

В отчет можно попасть как из блока сценария, так со страницы теста:

Отчет формируется в течение 24 часов после запуска теста.

Внутри отчета можно увидеть графики и таблицу со значениями по основному и дополнительным показателям.