Что такое A/B тест и почему он полезен
Что проверяют
Понимаете ли вы A/B-тест как статистический эксперимент с гипотезой, метрикой и заранее посчитанной выборкой, а не как «показали две версии и посмотрели, где больше». Следом обычно спрашивают, что такое p-value и почему нельзя останавливать тест, как только он «прокрасился».
Как отвечать
A/B-тест это рандомизированный контролируемый эксперимент. Пользователей случайно делят на контрольную группу A и тестовую B, и группы различаются только проверяемым изменением. Поэтому разницу в метрике можно приписать изменению, а не сезонности или рекламе. В этом и польза: тест даёт причинный вывод, которого нет у сравнения «до и после».
- гипотеза и метрики: одна целевая (конверсия в покупку) плюс контрольные, которые не должны просесть: выручка на пользователя, отказы;
- единица рандомизации: обычно пользователь, а не сессия, иначе один человек увидит обе версии;
- размер выборки: считается до запуска из базовой конверсии, минимального эффекта, который хотим заметить (MDE), уровня значимости 0,05 и мощности 0,8. Из него получается длительность, обычно не меньше одной-двух полных недель, чтобы покрыть недельный цикл;
- статистика: z-тест для долей, t-тест Уэлча для средних, бутстрап для медиан и метрик с тяжёлыми хвостами, CUPED для снижения дисперсии;
- санитарные проверки: A/A-тест и проверка SRM, то есть перекоса в размерах групп, через хи-квадрат.
Инструменты: SQL для сбора данных, Python с scipy.stats и statsmodels, платформа экспериментов вроде Varioqub, GrowthBook или внутренняя.
Где спотыкаются
Подглядывают: смотрят результат каждый день и останавливают тест при первом p < 0,05. Ложноположительных выводов становится в разы больше. Нужна фиксированная длительность или последовательные методы.
Трактуют p-value как вероятность того, что B лучше A. На самом деле это вероятность получить такую же или большую разницу при условии, что эффекта нет. И статистически значимый рост на 0,1% ещё не значит, что изменение стоит внедрять.
Смотрят двадцать метрик и десяток сегментов без поправки на множественные сравнения. Что-нибудь обязательно «прокрасится» случайно, поэтому нужны поправки Холма или Бенджамини-Хохберга.