АБ-тесты в персонализации сайта

Внутри форм есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

АБ-тесты доступны в информационных формах (без сбора данных клиентов) и в виджетах рекомендаций.

Как добавить АБ-тест в механику

Первым шагом нужно добавить форму:

• Как создать попап
• Как создать встроенный блок
• Как создать виджет рекомендаций

После создания формы из шаблона и доработки внешнего вида нажмите на кнопку «Добавить АБ-тест»:

На форму создается АБ-тест, при этом только один, так как форму с тестом можно запустить только один раз.

Как настроить АБ-тест

После добавления варианта в форму появляется блок «Настройки АБ-теста»:

Изменить их можно только на странице формы, но просмотр возможен и на странице самого АБ-теста.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста:

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение:

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ»:

• Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

Как использовать АБ-тест

После заполнения блока настроек АБ-теста, подготовки внешнего вида каждого из вариантов, указания таргетинга, условий показа и других настроек можно запустить попап. Вместе с попапом запустится АБ-тест.

Если возникает необходимость поправить настройки формы, ее нужно клонировать, внести изменения и запустить клон формы с новым тестом.

При добавлении варианта в форму, новый тест появляется в разделе Кампании → АБ-тесты, но редактировать его можно только на странице формы.
АБ-тест стартует и завершается только при запуске и остановке соответствующей формы.

Участники АБ-теста

Участниками АБ-теста считаются все клиенты, которые прошли условия таргетинга, условия показа и увидели форму.

Если клиент увидит форму несколько раз, то при каждом показе будет попадать в одну и ту же ветку АБ-теста.

Отчет АБ-теста

На следующий день после запуска формы с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.

Посмотреть отчет АБ-теста можно из настроек формы, кликнув на «Смотреть отчет» в блоке с тестом:

Как читать отчет АБ-теста