АБ-тесты в персонализации сайта
Внутри форм есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.
АБ-тесты доступны в информационных формах (без сбора данных клиентов) и в виджетах рекомендаций.
Как добавить АБ-тест в механику
Первым шагом нужно добавить форму:
После создания формы из шаблона и доработки внешнего вида нажмите на кнопку «Добавить АБ-тест»:
Можно также выделить контрольную группу пользователей, которые не увидят форму совсем, и выяснить, как механика влияет на конверсию в заказ и средний чек.
На форму создается АБ-тест, при этом только один, так как форму с тестом можно запустить только один раз.
Как настроить АБ-тест
После добавления варианта в форму появляется блок «Настройки АБ-теста»:
Изменить их можно только на странице формы, но просмотр возможен и на странице самого АБ-теста.
Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста:
Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение:
Тесты более чем с двумя ветками
- Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
- Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.
Неравные доли вариантов
- Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%
Как происходит распределение клиентов по веткам?
В тестах сайта, персонализации и мобильных приложений распределение участников работает по устройствам клиентов.Куда попадает клиент с несколькими устройствами?
- Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
- Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.
Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.
-
Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
Возвраты и отмены не учитываются во всех показателях.- Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
- Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
- Конверсия в клик — процент клиентов, которые кликнули по показанной во время тестирования форме.
-
Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
Как использовать АБ-тест
После заполнения блока настроек АБ-теста, подготовки внешнего вида каждого из вариантов, указания таргетинга, условий показа и других настроек можно запустить попап. Вместе с попапом запустится АБ-тест.
Запустить форму с АБ-тестом можно всего 1 раз. При остановке повторный запуск невозможен.
Если возникает необходимость поправить настройки формы, ее нужно клонировать, внести изменения и запустить клон формы с новым тестом.
При добавлении варианта в форму, новый тест появляется в разделе Кампании → АБ-тесты, но редактировать его можно только на странице формы.
АБ-тест стартует и завершается только при запуске и остановке соответствующей формы.
При удалении формы АБ-тест будет удален автоматически вместе с отчетом по нему.
Участники АБ-теста
Участниками АБ-теста считаются все клиенты, которые прошли условия таргетинга, условия показа и увидели форму.
Если клиент увидит форму несколько раз, то при каждом показе будет попадать в одну и ту же ветку АБ-теста.
Отчет АБ-теста
На следующий день после запуска формы с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.
В отчете АБ-теста заказы клиента атрибуцируются к показам формы этому клиенту. Это отличается от обычного отчета формы, где заказы атрибуцируются к кликам. Поэтому данные для целевых показателей «Конверсия в заказ» и «Средний чек» в отчете АБ-теста и отчете формы могут различаться.
Посмотреть отчет АБ-теста можно из настроек формы, кликнув на «Смотреть отчет» в блоке с тестом:
