- 29 Nov 2022
- 2 минуты
-
Темная темаСветлая тема
-
формат pdf
АБ-тесты в персонализации сайта
- Обновлено 29 Nov 2022
- 2 минуты
-
Темная темаСветлая тема
-
формат pdf
Внутри форм есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.
АБ-тесты доступны в информационных формах (без сбора данных клиентов) и в виджетах рекомендаций.
Как добавить АБ-тест в механику
Первым шагом нужно добавить форму:
После создания формы из шаблона и доработки внешнего вида нажмите на кнопку «Добавить АБ-тест»:
На форму создается АБ-тест, при этом только один, так как форму с тестом можно запустить только один раз.
Как настроить АБ-тест
После добавления варианта в форму появляется блок «Настройки АБ-теста»:
Изменить их можно только на странице формы, но просмотр возможен и на странице самого АБ-теста.
Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста:
Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение:
В данном разделе вы можете создать до 5 возможных вариантов теста, но АБ-тест займет много времени, если создать более 3 вариантов, потому что для подсчета его результатов понадобится больше участников.
Если у вас небольшая база для проведения теста, а тест проводится в соотношении, например, 80% на 20%, то тест будет ожидать, пока в меньшем варианте наберется достаточная выборка для подведения результата. Поэтому при настройке трафика с небольшой аудиторией советуем проводить его 50% на 50% — так вы получите результат быстрее.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.
Аналитика — здесь выберите основной целевой показатель и дополнительный целевой показатель: «средний чек» или «конверсия в заказ»:
-
Основной целевой показатель — это показатель, по которому считается статистическую значимость. При появлении статистической значимости можно с большей вероятностью говорить, что результаты теста получены не из-за случайности. Как только набирается нужная статистическая значимость, Mindbox отправляет письмо персоналу, который запускал этот АБ-тест.
-
Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
Как использовать АБ-тест
После заполнения блока настроек АБ-теста, подготовки внешнего вида каждого из вариантов, указания таргетинга, условий показа и других настроек можно запустить попап. Вместе с попапом запустится АБ-тест.
Запустить форму с АБ-тестом можно всего 1 раз. При остановке повторный запуск невозможен.
Если возникает необходимость поправить настройки формы, ее нужно клонировать, внести изменения и запустить клон формы с новым тестом.
При добавлении варианта в форму, новый тест появляется в разделе Кампании → АБ-тесты, но редактировать его можно только на странице формы.
АБ-тест стартует и завершается только при запуске и остановке соответствующей формы.
При удалении формы АБ-тест будет удален автоматически вместе с отчетом по нему.
Участники АБ-теста
Участниками АБ-теста считаются все клиенты, которые прошли условия таргетинга, условия показа и увидели форму.
Если клиент увидит форму несколько раз, то при каждом показе будет попадать в одну и ту же ветку АБ-теста.
Отчет АБ-теста
На следующий день после запуска формы с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.
В отчете АБ-теста заказы клиента атрибуцируются к показам формы этому клиенту. Это отличается от обычного отчета формы, где заказы атрибуцируются к кликам. Поэтому данные для целевых показателей «Конверсия в заказ» и «Средний чек» в отчете АБ-теста и отчете формы могут различаться.
Посмотреть отчет АБ-теста можно из настроек формы, кликнув на «Смотреть отчет» в блоке с тестом: