Какие статистические тесты применяются в аб-тестах?

Что проверяют

Понимаете ли вы, что тест выбирают по типу метрики и единице рандомизации, а не по привычке. Следом обычно спрашивают про подглядывание в результаты до конца теста, про расчёт размера выборки или про метрики-отношения вроде CTR.

Как отвечать

Начните с дизайна: гипотеза, основная метрика, уровень значимости α (обычно 0,05), мощность (обычно 80%), минимальный детектируемый эффект и из них размер выборки. Потом тесты по типу метрики:

• конверсии и доли: z-тест для двух пропорций (proportions_ztest в statsmodels) или хи-квадрат, на малых выборках точный тест Фишера;
• непрерывные метрики: выручка, время в продукте. t-тест Уэлча на больших выборках работает и для скошенных данных благодаря ЦПТ, но выручка с тяжёлым хвостом даёт огромную дисперсию, поэтому выбросы обрезают (винсоризация) или применяют бутстрэп;
• метрики-отношения: CTR как клики на показы при рандомизации по пользователям. Наблюдения одного пользователя зависимы, наивный тест занижает дисперсию, поэтому нужен дельта-метод или линеаризация;
• снижение дисперсии: CUPED берёт значение метрики до эксперимента как ковариату и сокращает нужную выборку;
• непараметрика: Манна-Уитни устойчив к выбросам, но проверяет сдвиг распределения, а не разницу средних, и бизнесу его результат трудно перевести в деньги.

Обязательно добавьте проверки: SRM (расхождение фактического сплита с плановым, ловится хи-квадратом), A/A-тест для проверки системы сплитования, поправки Холма или Бенджамини-Хохберга при нескольких метриках или вариантах.

Где спотыкаются

Смотрят на p-value каждый день и останавливают тест при первом «значимом» результате. Реальная доля ложных срабатываний при этом кратно выше заявленных 5%. Нужен заранее зафиксированный срок или последовательные методы с поправкой.

Считают CTR по всем показам как независимые наблюдения, хотя рандомизировали пользователей, и получают ложную значимость.

Забывают про мощность: тест не показал разницы, и это выдают за «эффекта нет», хотя выборки хватало только на очень крупный эффект.