АБ-тесты по посетителям сайта
Задача:
Узнать как модуль Персонализации сайта влияет на средний чек клиентов и конверсию в заказ.
Как создать АБ-тест
АБ-тесты находятся на вкладке Кампании → АБ-тесты.
Общую информацию по разделу можно прочитать в статье.
Для настройки АБ-теста нажмите на «Создать тест» и выберите «На посетителях сайта».
Как настроить АБ-тест
Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.
Участники — сайт, посетители которого станут участниками теста. Чем меньше трафик на сайте, тем больше будет длиться тест.
Трафик — распределение посетителей сайта для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение. В этом блоке можно задать, какие кампании какому варианту должны показываться. Другим вариантам теста они показываться не будут. Подробнее в блоке Трафик.
Тесты более чем с двумя ветками
- Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
- Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.
Неравные доли вариантов
- Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%
Как происходит распределение клиентов по веткам?
В тестах сайта и персонализации распределение участников работает по устройствам клиентов.Куда попадает клиент с несколькими устройствами?
- Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
- Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.
Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.
-
Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
Возвраты и отмены не учитываются во всех показателях.- Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
- Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
-
Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.
После запуска АБ-теста редактировать можно только его название.
Трафик
Глобальный АБ-тест персонализации сайта
С помощью глобального АБ-теста сайта можно увидеть, как персонализация сайта влияет на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение посетителей сайта с появлением персонализации на сайте и поможет рассчитать окупаемость модуля.
1. Оставьте один вариант и задайте в нем «Формы для показа — Все». Пользователи будут видеть все запущенные формы.
2. Нажмите «Добавить контрольную группу». Контрольной группе не будут показываться никакие кампании, кроме тех, в которых явно задано, что ее необходимо показывать всем.
Перед запуском теста проверьте, что на проекте есть запущенные кампании персонализации сайта.
АБ-тест формы или набора форм с контрольной группой
С помощью АБ-тестов можно узнать, как работает несколько механик в совокупности. Например, на сайте есть welcome-цепочка из трех попапов, которые идут друг за другом, и нужно проверить, как они влияют на конверсию в заказ.
1. Оставьте один вариант и укажите в нем все попапы из welcome-цепочки.
2. Нажмите «Добавить контрольную группу». Контрольной группе не будет показываться welcome-цепочка, которая выбрана в другом варианте. При этом все остальные запущенные на сайте механики эти клиенты увидят.
АБ-тест форм между собой
С помощью АБ-теста можно проверить, какая форма приносит больше пользы для решения задачи.
Например, узнать, какой набор виджетов в карточке товара больше влияет на средний чек покупателей на сайте: популярные товары в категории и сопутсвующие товары или популярные товары и персональные рекомендации.
1. В первом варианте укажите формы из первого набора.
2. Во втором варианте укажите формы из второго набора.
3. Нажмите «Добавить контрольную группу». Посетители сайта из контрольной группы не будут видеть виджеты в карточке товара, которые указаны в остальных вариантах. При этом все остальные запущенные на сайте механики эти клиенты увидят.
Как показывать кампанию всем посетителям сайта, даже если они в контрольной группе
В каждой форме есть настройка, которая позволяет исключить ее из глобального АБ-теста сайта. Она может быть полезна, если есть формы, которые должны показываться всем посетителям сайта, даже если они попали в контрольную группу. Например, попап о том, что на сайте ведутся технические работы.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.
Рекомендации
Не стоит запускать более одного теста с контрольной группой для одного сайта одновременно, так как количество посетителей сайта, которые не видят механик, становится плохо предсказуемым, а тесты будут идти дольше. Контрольные группы могут пересекаться, а чем меньше участников видят формы на сайте, тем дольше собираются результаты тестов.
Другие рекомендации по настройке тестов — в статье.
Отчет АБ-теста
Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.
Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.
Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.
