АБ-тесты мобильных приложений
  • 26 Dec 2023
  • 2 минуты
  • Темная тема
    Светлая тема
  • формат pdf

АБ-тесты мобильных приложений

  • Темная тема
    Светлая тема
  • формат pdf

Article Summary

АБ-тесты приложений позволяют оценить пользу отдельных in-app’ов и канала в целом, а также выбрать лучший in-app для конкретной механики.

Чтобы добавить АБ-тест приложения, в разделе КампанииАБ-тесты нажмите «Создать тест» → «На пользователях приложения»:

Снимок экрана 2023-08-15 в 09.54.06.png

Настройка теста

Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

Снимок экрана 2023-08-29 в 11.04.38.png

Участники — приложения, пользователи которых станут участниками теста.

Снимок экрана 2023-08-15 в 10.01.57.png

Участниками могут быть только пользователи с версией SDK минимум 2.7.0.

Варианты — распределение пользователей приложений для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

Для каждого варианта можно указать ограничения по показу in-app’ов:

  • показывать только определенные in-app’ы;
  • показывать все in-app’ы;
  • показывать in-app’ы, которые не выбраны в других вариантах (контрольная группа).

Снимок экрана 2023-08-15 в 10.13.58.png

Как происходит распределение клиентов по веткам?В тестах сайта и персонализации распределение участников работает по устройствам клиентов.

Куда попадает клиент с несколькими устройствами?
  • Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
  • Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.

Способы настройки вариантов в зависимости от задачи рассмотрены ниже.

Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

  • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
    Возвраты и отмены не учитываются во всех показателях.
    • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
    • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
    • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
  • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и основном показателе.
  • Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
    Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

Снимок экрана 2023-08-15 в 10.16.15.png

После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

После запуска АБ-теста редактировать можно только его название.

Варианты

Глобальный тест приложений

С помощью глобального АБ-теста можно увидеть, как in-app’ы влияют на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение пользователей приложения с in-app’ов и поможет рассчитать окупаемость модуля.

Создайте два варианта:

  • с показом всех запущенных in-app’ов;
  • контрольную группу.

Снимок экрана 2023-08-29 в 11.09.18.png

Тест конкретного in-app’а

С помощью АБ-теста можно узнать, насколько эффективно работают отдельные механики.

Создайте два варианта:

  • с показом нужного in-app’а/in-app’ов;
  • контрольную группу, которая будет видеть все in-app’ы, кроме выбранного.

Снимок экрана 2023-08-29 в 11.17.36.png

Сравнение in-app’ов между собой

С помощью АБ-теста можно проверить, какой набор in-app’ов полезнее для решения задачи.

Создайте варианты для каждого набора in-app’ов:

Снимок экрана 2023-08-29 в 11.23.51.png

В тесте возможно запустить до 5 разных веток.

Отчет

Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

Снимок экрана 2023-08-29 в 11.43.05.png

Снимок экрана 2023-08-29 в 11.43.17.png

Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.