АБ-тесты мобильных приложений

АБ-тесты приложений позволяют оценить пользу отдельных in-app’ов и канала в целом, а также выбрать лучший in-app для конкретной механики.

Чтобы добавить АБ-тест приложения, в разделе Кампании → АБ-тесты нажмите «Создать тест» → «На пользователях приложения»:

Настройка тестаНастройка теста

Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

Участники — приложения, пользователи которых станут участниками теста.

Варианты — распределение пользователей приложений для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Для каждого варианта можно указать ограничения по показу in-app’ов:

• показывать только определенные in-app’ы;

• показывать все in-app’ы;

• показывать in-app’ы, которые не выбраны в других вариантах (контрольная группа).

  

Как происходит распределение клиентов по веткам?

В тестах сайта и персонализации распределение участников работает по устройствам клиентов.

Куда попадает клиент с несколькими устройствами?

• Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
• Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.

Способы настройки вариантов в зависимости от задачи рассмотрены ниже.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

• Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
  Возвраты и отмены не учитываются во всех показателях.

  • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
  • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
  • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.

• Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и основном показателе.

• Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
  Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

  

После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

ВариантыВарианты

Глобальный тест приложенийГлобальный тест приложений

Создайте два варианта:

• с показом всех запущенных in-app’ов;

• контрольную группу.

  

Тест конкретного in-app’аТест конкретного in-app’а

Создайте два варианта:

• с показом нужного in-app’а/in-app’ов;

• контрольную группу, которая будет видеть все in-app’ы, кроме выбранного.

  

Сравнение in-app’ов между собойСравнение in-app’ов между собой

Создайте варианты для каждого набора in-app’ов:

В тесте возможно запустить до 5 разных веток.

ОтчетОтчет

Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.