АБ-тесты в сценариях
  • 26 Aug 2022
  • 3 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты в сценариях

  • Темная тема
    Светлая тема
  • формат pdf

Внутри сценариев есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

Как создать АБ-тест в сценарии

Для настройки АБ-теста в сценарии нужно создать сценарий — это можно сделать с помощью этой статьи.

Внутри сценария выберите блок «АБ-тест» и перетащите его на канву.

Снимок экрана 2022-08-19 в 15.07.30.png

В сценарии может быть только один АБ-тест.

Как настроить АБ-тест

Слева соедините блок с событием или условием, после которого пользователь должен попадать в какой-то из вариантов теста.

Внутри АБ-теста есть необходимые и дополнительные настройки.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.

Снимок экрана 2022-08-19 в 16.50.17.png

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Снимок экрана 2022-08-19 в 16.56.56.png

В этом разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста. Но участие в контрольной группе учитывается внутри рассылок, которые отправляются из сценария.

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ».

Снимок экрана 2022-08-19 в 16.59.10.png

Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

После заполнения всех полей нажмите на кнопку «Сохранить» во вкладке редактирования АБ-теста. После этого АБ-тест будет создан.

Как использовать АБ-тест

После настройки блока теста и следующих шагов можно запустить сценарий. Во вкладке «Кампании» → «АБ-тесты» появится новый тест из сценария — иконка тестов из сценариев отличается от иконки АБ-тестов сегментов на проекте.

Название теста нельзя отредактировать, и оно соответствует названию и версии сценария. Редактировать что-либо в АБ-тесте можно только на странице сценария.

При запуске новой версии сценария будет запущена и новая версия АБ-теста.

Старая версия АБ-теста автоматически остановится при запуске новой версии сценария.

При удалении сценария АБ-тест будет остановлен автоматически, но не удален, чтобы была возможность вернуться к статистике в нем. При необходимости его можно удалить вручную на странице нужного теста во вкладке «Кампании» → «АБ-тесты».

Участники АБ-теста

Участниками АБ-теста считаются все клиенты, которые участвовали в сценарии, то есть проходили через любой блок «Группа шагов». Это нужно учитывать при построении сценариев, где:

  • перед АБ-тестом есть блоки «Группа шагов», а затем «Условие»;
  • в сценарии в соседних ветках без АБ-теста есть «Группы шагов».

В таких случаях клиенты, которые вышли из сценария по условию после шагов или участвовали в шагах в других ветках, тоже входят в число участников теста.

Это может завышать количество участников и занижать показатели и статистическую значимость, но не влияет на определение победившего варианта АБ-теста.

Отчет АБ-теста

На следующий день после запуска сценария с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.

Важно — если сценарий может отрабатывать несколько раз на клиенте, то клиент при каждом срабатывании будет попадать в одну и ту же ветку АБ-теста.

В отчет АБ-теста можно попасть как из сценария, кликнув на «Смотреть отчет» в блоке с тестом, так и во вкладке «Кампании» → «АБ-тесты» на проекте.

Снимок экрана 2022-08-19 в 15.29.19.png

То, как читать отчет АБ-теста, описано здесь.


Была ли эта статья полезной?