Рекомендации по запуску АБ-тестов
  • 24 Nov 2022
  • 1 минута
  • Темная тема
    Светлая тема
  • формат pdf

Рекомендации по запуску АБ-тестов

  • Темная тема
    Светлая тема
  • формат pdf

В данной статье рассказываем, как наиболее эффективно проводить АБ-тестирование.

Как получить статистически значимый результат быстрее?

Чем быстрее наберется нужное количество клиентов, тем быстрее завершится тестирование. Есть три метода для ускорения процесса.

  • Больше трафик

Например, на главной странице сайта, где посетителей значительно больше, чем на других, участники будут набраны быстрее.

  • Меньше вариантов

Каждый новый вариант увеличивает необходимое число участников теста. Это можно проверить с помощью калькулятора АБ-тестов. Меньше вариантов — быстрее набор участников и, соответственно, результаты теста.

  • Равномерное распределение

Чтобы провести тест в соотношении, например, 80/20, нужно дождаться, пока в варианте с меньшей вероятностью попадания наберется достаточное количество участников.
Поэтому равномерное распределение (50/50, 33/33/34, 25/25/25/25) скорее наполнит все варианты.

Можно ли запустить несколько АБ-тестов параллельно?

  • Да, можно. Но важно учитывать, что несколько АБ-тестов, параллельно запущенных на одну аудиторию, будут влиять друг на друга. Они не создадут ложных победителей там, где их нет, но могут сильно увеличить время, нужное каждому из тестов. Также это может привести к ложно несостоявшимся тестам (победитель на самом деле есть, но мы не смогли обнаружить) из-за конфликта цепочек взаимодействия с клиентом.
  • Несколько тестов, направленных на одну аудиторию со схожими гипотезами могут искажать результаты, даже если каналы разные. Например, при тесте рассылки со скидкой на товар и тесте попапа со скидкой на этот товар результаты обоих тестов будет сложнее интерпретировать.

Нужно ли делать паузу между АБ-тестами?

Да, если АБ-тесты запускаются на одну и ту же аудиторию, то ей нужно давать «остыть». Выгоревшая от многих (или даже параллельных) тестов подряд может давать искаженные результаты и не показывать разницу между вариантами, где она могла бы быть.


Была ли эта статья полезной?