АБ-тесты в персонализации сайта
  • 29 Nov 2022
  • 2 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты в персонализации сайта

  • Темная тема
    Светлая тема
  • формат pdf

Внутри форм есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

АБ-тесты доступны в информационных формах (без сбора данных клиентов) и в виджетах рекомендаций.

Как добавить АБ-тест в механику

Первым шагом нужно добавить форму:

После создания формы из шаблона и доработки внешнего вида нажмите на кнопку «Добавить АБ-тест»:

image.png

На форму создается АБ-тест, при этом только один, так как форму с тестом можно запустить только один раз.

Как настроить АБ-тест

После добавления варианта в форму появляется блок «Настройки АБ-теста»:

image.pngИзменить их можно только на странице формы, но просмотр возможен и на странице самого АБ-теста.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста:

image.png

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение:

image.png

В данном разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.

Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.

АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.

Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ»:

image.png

  • Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.

  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Как использовать АБ-тест

После заполнения блока настроек АБ-теста, подготовки внешнего вида каждого из вариантов, указания таргетинга, условий показа и других настроек можно запустить попап. Вместе с попапом запустится АБ-тест.

Запустить форму с АБ-тестом можно всего 1 раз. При остановке повторный запуск невозможен.

Если возникает необходимость поправить настройки формы, ее нужно клонировать, внести изменения и запустить клон формы с новым тестом.


При добавлении варианта в форму, новый тест появляется в разделе КампанииАБ-тесты, но редактировать его можно только на странице формы.
АБ-тест стартует и завершается только при запуске и остановке соответствующей формы.

При удалении формы АБ-тест будет удален автоматически вместе с отчетом по нему.

Участники АБ-теста

Участниками АБ-теста считаются все клиенты, которые прошли условия таргетинга, условия показа и увидели форму.

Если клиент увидит форму несколько раз, то при каждом показе будет попадать в одну и ту же ветку АБ-теста.

Отчет АБ-теста

На следующий день после запуска формы с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.

В отчете АБ-теста заказы клиента атрибуцируются к показам формы этому клиенту. Это отличается от обычного отчета формы, где заказы атрибуцируются к кликам. Поэтому данные для целевых показателей «Конверсия в заказ» и «Средний чек» в отчете АБ-теста и отчете формы могут различаться.

Посмотреть отчет АБ-теста можно из настроек формы, кликнув на «Смотреть отчет» в блоке с тестом:

image.png

Как читать отчет АБ-теста


Была ли эта статья полезной?