Как определить, что метрика конверсии выросла именно на 10%, а не на 9% или 3%
Что проверяют
Понимаете ли вы, что «ровно 10%» по выборке установить нельзя: можно получить оценку и интервал, в котором истинный эффект лежит с заданной уверенностью. Следом спрашивают, сколько нужно данных, чтобы отличить 10% от 9%, и чем относительный рост отличается от роста в процентных пунктах.
Как отвечать
Сначала договоритесь о терминах. Рост с 5% до 5,5% это плюс 10% относительно и плюс 0,5 процентного пункта абсолютно. Путаница здесь встречается чаще, чем ошибки в статистике.
Дальше каркас:
- дизайн: сравнение «до и после» без контроля не годится, на результат влияют сезонность и маркетинг. Нужен A/B-тест со случайным разбиением и проверкой SRM, то есть соответствия реального соотношения групп плановому;
- тест: для конверсии это z-тест для двух долей (он равносилен хи-квадрату для таблицы 2×2). Он отвечает на вопрос «есть ли разница», а не «какая именно»;
- доверительный интервал: он и отвечает на вопрос задачи. Для относительного эффекта интервал считают через дельта-метод или бутстреп;
- размер выборки: по правилу Лера для α = 0,05 и мощности 80% нужно около
16·p(1-p)/δ²наблюдений на группу.
Посчитайте вслух. При базе 5% и эффекте 0,5 п.п. это около 30 тысяч пользователей на группу. Интервал для разницы тогда получится примерно ±0,35 п.п., то есть «рост на 10%» на деле означает где-то от 3% до 17%. Чтобы отличить 10% от 9%, нужно различать 0,05 п.п., а это в сто раз больше данных, около трёх миллионов на группу.
Если бизнесу важен порог, формулируйте гипотезу через него: односторонний тест «эффект больше 9%» или байесовская оценка вероятности того, что рост выше порога. Снизить дисперсию и нужный объём помогает CUPED.
Где спотыкаются
Считают, что p-value меньше 0,05 подтверждает точечную оценку. Значимость говорит только о том, что эффект вряд ли нулевой, а его величина остаётся в пределах интервала.
Путают проценты и процентные пункты, и вся дальнейшая арифметика оказывается неверной.
Подглядывают в результаты каждый день и останавливают тест, как только стало значимо. Без поправок на последовательное тестирование доля ложных срабатываний растёт в разы.