Как оценивать результаты A/B тестов и делать выводы об эффекте проекта

Что проверяют

Понимаете ли вы, что вывод делается не по разнице средних, а по статистике, и знаете ли типичные способы обмануть себя.

Как отвечать

Начните с подготовки, потому что половина ошибок случается до запуска:

• одна главная метрика решает исход, остальные вспомогательные. Иначе появляется соблазн выбрать ту, что выросла;
• минимально значимый эффект: какой прирост вообще интересен бизнесу. От него и от разброса метрики считается нужный размер выборки и длительность;
• длительность: минимум недельные циклы, чтобы захватить будни и выходные, и без остановки в середине.

Дальше проверки корректности:

• A/A тест или проверка разделения: доли групп должны совпадать с задуманными, а расхождение (несовпадение размеров) означает поломку разделителя и делает результат бессмысленным;
• однородность групп по ключевым срезам до начала эксперимента.

Оценка результата:

• смотрят не только на значимость, но и на доверительный интервал: он показывает, какой эффект правдоподобен. Значимый прирост в 0.2 процента может не окупать разработку;
• подглядывание запрещено: если останавливать тест в момент, когда стало «значимо», доля ложных выводов резко растёт. Либо ждём срок, либо применяем методы последовательного анализа;
• множественные сравнения: проверяя десять метрик и пять сегментов, найдёшь «эффект» случайно. Нужна поправка, а сегменты объявляются заранее;
• практическая значимость и цена: эффект соотносится с затратами на внедрение и поддержку.

Вывод формулируется честно: подтвердилось, не подтвердилось или мощности не хватило, чтобы отличить эффект от нуля. Третий вариант это нормальный результат, а не неудача.

Где спотыкаются

Останавливают тест, как только увидели зелёный результат.

Ищут эффект в срезах после теста и выдают находку за результат.

Считают отсутствие значимости доказательством отсутствия эффекта.