содержание x
    АБ-тесты мобильных приложений
    • 26 Dec 2023
    • 2 минуты
    • Темная тема
      Светлая тема
    • формат pdf
    содержание

    АБ-тесты мобильных приложений

    • Обновлено 26 Dec 2023
    • 2 минуты
    • Темная тема
      Светлая тема
    • формат pdf
    Article Summary

    АБ-тесты приложений позволяют оценить пользу отдельных in-app’ов и канала в целом, а также выбрать лучший in-app для конкретной механики.

    Чтобы добавить АБ-тест приложения, в разделе Кампании → АБ-тесты нажмите «Создать тест» → «На пользователях приложения»:

    Снимок экрана 2023-08-15 в 09.54.06.png

    Настройка теста

    Гипотеза — то, что нужно доказать или опровергнуть с помощью теста.

    Снимок экрана 2023-08-29 в 11.04.38.png

    Участники — приложения, пользователи которых станут участниками теста.

    Снимок экрана 2023-08-15 в 10.01.57.png

    Участниками могут быть только пользователи с версией SDK минимум 2.7.0.

    Варианты — распределение пользователей приложений для проведения теста. Задается в долях, автоматически пересчитывается в процентное соотношение.

    Для каждого варианта можно указать ограничения по показу in-app’ов:

    • показывать только определенные in-app’ы;
    • показывать все in-app’ы;
    • показывать in-app’ы, которые не выбраны в других вариантах (контрольная группа).

    Снимок экрана 2023-08-15 в 10.13.58.png

    Как происходит распределение клиентов по веткам?В тестах сайта и персонализации распределение участников работает по устройствам клиентов.

    Куда попадает клиент с несколькими устройствами?
    • Если устройства попали в одну ветку, то клиент считается в ней за одного участника.
    • Если устройства попали в разные ветки, то клиент считается участником в обоих ветках. Заказы при этом распределяются по устройствам: атрибуцируются к тому, с которого был последний переход на сайт.

    Способы настройки вариантов в зависимости от задачи рассмотрены ниже.

    Аналитика — метрики, которые используются для оценки успешности тестируемых вариантов.

    • Основной целевой показатель — показатель, по которому принимается решение о победившем варианте.
      Возвраты и отмены не учитываются во всех показателях.
      • Конверсия в заказ — процент клиентов, которые совершили хотя бы один заказ после попадания в участники теста.
      • Средний чек — выручка за время тестирования, деленная на количество совершенных заказов.
      • Средняя выручка на клиента (ARPU) — выручка за время тестирования, деленная на количество участников в варианте.
    • Дополнительный целевой показатель — показатель, позволяющий смотреть динамику в сравнении. Например, если при росте конверсия в заказ, важно видеть, что средний чек не стал хуже. Доступны те же метрики, что и основном показателе.
    • Дополнительные настройки — ожидаемый прирост, мощность и доверительная вероятность. Заданы оптимально по умолчанию.
      Меняйте настройки только в том случае, если точно знаете, как это отразится на результатах теста.

    Снимок экрана 2023-08-15 в 10.16.15.png

    После заполнения всех полей можно запускать АБ-тест кликом по соответствующей кнопке. Сразу после этого аудитория сегмента в случайном порядке будет поделена на варианты в соответствии с настройками трафика.

    После запуска АБ-теста редактировать можно только его название.

    Варианты

    Глобальный тест приложений

    С помощью глобального АБ-теста можно увидеть, как in-app’ы влияют на средний чек и конверсию в заказ. Отчет такого теста покажет, как меняется поведение пользователей приложения с in-app’ов и поможет рассчитать окупаемость модуля.

    Создайте два варианта:

    • с показом всех запущенных in-app’ов;
    • контрольную группу.

    Снимок экрана 2023-08-29 в 11.09.18.png

    Тест конкретного in-app’а

    С помощью АБ-теста можно узнать, насколько эффективно работают отдельные механики.

    Создайте два варианта:

    • с показом нужного in-app’а/in-app’ов;
    • контрольную группу, которая будет видеть все in-app’ы, кроме выбранного.

    Снимок экрана 2023-08-29 в 11.17.36.png

    Сравнение in-app’ов между собой

    С помощью АБ-теста можно проверить, какой набор in-app’ов полезнее для решения задачи.

    Создайте варианты для каждого набора in-app’ов:

    Снимок экрана 2023-08-29 в 11.23.51.png

    В тесте возможно запустить до 5 разных веток.

    Отчет

    Уже на следующий день после запуска АБ-теста в отчете появятся данные по всем вариантам теста.
    Внутри отчета можно увидеть графики по каждому показателю теста и информацию из настроек — сегмент, количество участников, гипотезу и дополнительные настройки. Также можно выбрать интересующий период и разбивку по дням, неделям или месяцам.

    Снимок экрана 2023-08-29 в 11.43.05.png

    Снимок экрана 2023-08-29 в 11.43.17.png

    Если тест показал, что варианты статистически значимо не отличаются, то у конкретного показателя будет указано, что победителя нет.
    Если для расчета победителя данных недостаточно, то под показателем будет указано, что данные еще собираются.

    What's Next