АБ-тесты по посетителям сайта
  • 25 Dec 2023
  • 3 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты по посетителям сайта

  • Темная тема
    Светлая тема
  • формат pdf

Вводный текст

Задача:
Узнать как модуль Персонализации сайта влияет на средний чек клиентов и конверсию в заказ.

Как создать АБ-тест

АБ-тесты находятся на вкладке КампанииАБ-тесты.
Общую информацию по разделу можно прочитать в статье.

Для настройки АБ-теста нажмите на «Создать тест» и выберите «На посетителях сайта».

image6.png

Как настроить АБ-тест

Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

image5.png

Участники — сайт, посетители которого станут участниками теста. Чем меньше трафик на сайте, тем больше будет длиться тест.

image1.png

Трафик — распределение посетителей сайта для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение. В этом блоке можно задать, какие кампании какому варианту должны показываться. Другим вариантам теста они показываться не будут. Подробнее в блоке Трафик.

Снимок экрана 2023-08-31 в 08.10.23.png

Тесты более чем с двумя ветками

  • Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
  • Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.

Неравные доли вариантов

  • Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%
Как происходит распределение клиентов по веткам?В тестах сайта и персонализации распределение участников работает по устройствам клиентов.

Куда попадает клиент с несколькими устройствами?
  • Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
  • Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

image2.png

  • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
    Возвраты и отмены не учитываются во всех показателях.

    • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
    • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

image4.png

После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

После запуска АБ-теста редактировать можно только его название.

Трафик

Глобальный АБ-тест персонализации сайта

С помощью глобального АБ-теста сайта можно увидеть, как персонализация сайта влияет на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение посетителей сайта с появлением персонализации на сайте и поможет рассчитать окупаемость модуля.

  1. Оставьте один вариант и задайте в нем «Формы для показа — Все». Пользователи будут видеть все запущенные формы.
  2. Нажмите «Добавить контрольную группу». Контрольной группе не будут показываться никакие кампании, кроме тех, в которых явно задано, что ее необходимо показывать всем.

Перед запуском теста проверьте, что на проекте есть запущенные кампании персонализации сайта.

Снимок экрана 2023-08-31 в 08.10.23.png

АБ-тест формы или набора форм с контрольной группой

С помощью АБ-тестов можно узнать, как работает несколько механик в совокупности. Например, на сайте есть welcome-цепочка из трех попапов, которые идут друг за другом, и нужно проверить, как они влияют на конверсию в заказ.

  1. Оставьте один вариант и укажите в нем все попапы из welcome-цепочки.
  2. Нажмите «Добавить контрольную группу». Контрольной группе не будет показываться welcome-цепочка, которая выбрана в другом варианте. При этом все остальные запущенные на сайте механики эти клиенты увидят.

Снимок экрана 2023-08-31 в 08.24.51.png

АБ-тест форм между собой

С помощью АБ-теста можно проверить, какая форма приносит больше пользы для решения задачи.

Например, узнать, какой набор виджетов в карточке товара больше влияет на средний чек покупателей на сайте: популярные товары в категории и сопутсвующие товары или популярные товары и персональные рекомендации.

  1. В первом варианте укажите формы из первого набора.
  2. Во втором варианте укажите формы из второго набора.
  3. Нажмите «Добавить контрольную группу». Посетители сайта из контрольной группы не будут видеть виджеты в карточке товара, которые указаны в остальных вариантах. При этом все остальные запущенные на сайте механики эти клиенты увидят.

Снимок экрана 2023-08-31 в 08.34.30.png

Как показывать кампанию всем посетителям сайта, даже если они в контрольной группе

В каждой форме есть настройка, которая позволяет исключить ее из глобального АБ-теста сайта. Она может быть полезна, если есть формы, которые должны показываться всем посетителям сайта, даже если они попали в контрольную группу. Например, попап о том, что на сайте ведутся технические работы.

image7.png

АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.

Рекомендации

Не стоит запускать более одного теста с контрольной группой для одного сайта одновременно, так как количество посетителей сайта, которые не видят механик, становится плохо предсказуемым, а тесты будут идти дольше. Контрольные группы могут пересекаться, а чем меньше участников видят формы на сайте, тем дольше собираются результаты тестов.

Другие рекомендации по настройке тестов — в статье.

Отчет АБ-теста

Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

image8.png

Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.

image3.png