АБ-тесты по сегментам
- 30 Jul 2024
- 2 минуты
- Темная темаСветлая тема
- формат pdf
АБ-тесты по сегментам
- Обновлено 30 Jul 2024
- 2 минуты
- Темная темаСветлая тема
- формат pdf
Вводный текст
Вы нашли это резюме полезным?
Спасибо за ваш отзыв
В части механик (сценарии, персонализация, in-app) можно настраивать собственные АБ-тесты для тестирования гипотез по улучшению их показателей.
АБ-тесты по сегментам позволяют проверять любые другие кампании, например, рассылки, медиа, промоакции.
Для этого нужно:
- Создать АБ-тест. Указать в нем сегмент для тестирования, количество вариантов, их долю от участников и целевой показатель, по которому будет оцениваться результат теста: средний чек или конверсия в заказ.
- С помощью фильтров добавить каждую из веток в соответствующие механики.
- Дождаться определения статистической значимости одного из вариантов или опровержения гипотезы о влиянии кампании.
Чтобы добавить тест:
- На вкладке Кампании → АБ-тесты нажмите «Создать тест» → «Сегмента»:
- Заполните настройки:
Гипотеза — то, что вы планируете доказать или опровергнуть с помощью теста.
Трафик — распределение базы клиентов для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.
Тесты более чем с двумя ветками
- Чем больше вариантов, тем больше понадобится участников, что увеличивает продолжительность тестирования.
- Тест может завершиться без однозначного победителя: каждая пара веток сравнивается между собой, и если хотя бы в одной паре не выявлен победитель, достаточно сложно принять решение, какой из вариантов лучший — возможно, придется проводить дополнительные тесты уже с двумя ветками.
Неравные доли вариантов
- Длительность теста увеличится, если использовать распределение участников с неравными пропорциями. Например, тест с соотношением участников 75%/25% будет длиться дольше, чем с распределением 50%/50%
Если в АБ-тесте будет использоваться контрольная группа, то она должна быть вариантом 0. В отчете по АБ-тесту результаты разных вариантов будут сравниваться именно с вариантом 0.
АБ-тесты никак не связаны с глобальной контрольной группой, поэтому участники ГКГ будут равномерно распределены по всем вариантам АБ-теста.
Участники — сегмент, на котором планируется проводить тест. Чем меньше эта группа, тем больше будет длиться тест.
Если клиент выпадает из сегмента, он также перестает попадать под фильтр по участникам АБ-теста.
При этом в отчете по АБ-тесту он останется участником, и в отчете будут учитываться его действия за все время теста.
Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.
Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.
- Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
Возвраты и отмены не учитываются во всех показателях.- Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
- Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
- Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
- Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже.
Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.
Тест можно запускать.
Перед включением
Проверьте настройки теста, так как после запуска можно редактировать только его название.
- Создайте сегменты с участниками каждого варианта.
После запуска теста становится доступным фильтр для отбора его участников:
Клиенты попадают в него сразу, как оказываются в сегменте, по которому настроен АБ-тест.
Создайте сегменты для каждого варианта. Тип сегмента зависит от тестируемой механики: часто кампании принимают только пересчитываемые или статические сегменты.
- Добавьте созданные сегменты в тестируемые кампании.
Отчет АБ-теста
Когда АБ-тест показал значимые результаты, то персоналу, который запустил тест, уходит письмо, что есть результат со ссылкой на АБ-тест.
АБ-тест не останавливается сам, поэтому нужно остановить его вручную после получения уведомления о наличии статистической значимости. После остановки АБ-теста его нельзя запустить повторно.
Отчет формируется в течение 24 часов после запуска теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.
Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.
Под графиками можно увидеть таблицу с конверсией и суммами среднего чека, а также разницу в процентах и рублях по сравнению с вариантом 0.
Учитывайте, что если один АБ-тест используется для нескольких механик (например, для рассылки и для промоакции), то в отчете будут данные по всем механикам сразу, а не по отдельности. Поэтому рекомендуем создавать для каждой механики отдельный АБ-тест.