АБ-тесты в персонализации сайта
  • 26 Dec 2023
  • 2 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты в персонализации сайта

  • Темная тема
    Светлая тема
  • формат pdf

Article Summary

Внутри форм есть возможность использовать АБ-тесты — разделить базу клиентов на группы с заданной вероятностью, проверить гипотезы и сравнить различные показатели по результатам таких тестов.

АБ-тесты доступны в информационных формах (без сбора данных клиентов) и в виджетах рекомендаций.

Как добавить АБ-тест в механику

Первым шагом нужно добавить форму:

После создания формы из шаблона и доработки внешнего вида нажмите на кнопку «Добавить АБ-тест»:

image290.png

Можно также выделить контрольную группу пользователей, которые не увидят форму совсем, и выяснить, как механика влияет на конверсию в заказ и средний чек.

На форму создается АБ-тест, при этом только один, так как форму с тестом можно запустить только один раз.

Как настроить АБ-тест

После добавления варианта в форму появляется блок «Настройки АБ-теста»:

image.pngИзменить их можно только на странице формы, но просмотр возможен и на странице самого АБ-теста.

Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста:

image.png

Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение:

image.png

Тесты более чем с двумя ветками

  • Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
  • Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.

Неравные доли вариантов

  • Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%
Как происходит распределение клиентов по веткам?В тестах сайта, персонализации и мобильных приложений распределение участников работает по устройствам клиентов.

Куда попадает клиент с несколькими устройствами?
  • Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
  • Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

image.png

  • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
    Возвраты и отмены не учитываются во всех показателях.

    • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
    • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
    • Конверсия в клик — процент клиентов, которые кликнули по показанной во время тестирования форме.
  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении: например, если у вас выросла конверсия в заказ, важно видеть, что средний чек не стал хуже.

Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию, в каждой настройке по значку вопросительного знака можно почитать подробнее о том, как они работают.

Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Как использовать АБ-тест

После заполнения блока настроек АБ-теста, подготовки внешнего вида каждого из вариантов, указания таргетинга, условий показа и других настроек можно запустить попап. Вместе с попапом запустится АБ-тест.

Запустить форму с АБ-тестом можно всего 1 раз. При остановке повторный запуск невозможен.

Если возникает необходимость поправить настройки формы, ее нужно клонировать, внести изменения и запустить клон формы с новым тестом.


При добавлении варианта в форму, новый тест появляется в разделе КампанииАБ-тесты, но редактировать его можно только на странице формы.
АБ-тест стартует и завершается только при запуске и остановке соответствующей формы.

При удалении формы АБ-тест будет удален автоматически вместе с отчетом по нему.

Участники АБ-теста

Участниками АБ-теста считаются все клиенты, которые прошли условия таргетинга, условия показа и увидели форму.

Если клиент увидит форму несколько раз, то при каждом показе будет попадать в одну и ту же ветку АБ-теста.

Отчет АБ-теста

На следующий день после запуска формы с АБ-тестом появляется отчет, в котором можно отслеживать показатели теста.

В отчете АБ-теста заказы клиента атрибуцируются к показам формы этому клиенту. Это отличается от обычного отчета формы, где заказы атрибуцируются к кликам. Поэтому данные для целевых показателей «Конверсия в заказ» и «Средний чек» в отчете АБ-теста и отчете формы могут различаться.

Посмотреть отчет АБ-теста можно из настроек формы, кликнув на «Смотреть отчет» в блоке с тестом:

image.png

Как читать отчет АБ-теста

Калькулятор AB-тестов - расчет размера выборки при подготовке к AB-тесту и оценка результата.

Была ли эта статья полезной?