Считаются ли денежные метрики в аб-тестах?
Что проверяют
Понимаете ли вы, чем деньги отличаются от конверсии как случайная величина. Простое «да, считаются» не даёт ничего: смотрят, знаете ли вы про тяжёлый хвост, дисперсию и то, почему на выручке эксперимент почти всегда выходит незначимым.
Как отвечать
Да, и обычно ради них всё и затевается. Стройте ответ на трёх вещах.
Первое: деньги считают, но редко берут ключевой метрикой критерия. Типовая схема такая, что решение принимают по более чувствительной метрике (конверсия в покупку, число заказов), а выручка на пользователя идёт гардрейлом, который проверяют на непадение.
Второе, почему так. Выручка на пользователя это произведение редкого события покупки на размер чека: масса нулей и длинный хвост. Дисперсия огромная, мощность низкая, эффект в несколько процентов на реальном трафике просто не ловится. Назовите инструменты: CUPED по предпериодной выручке, винзоризация или отсечение хвоста по квантилю, бутстрап, бакетирование. Ранговые критерии тут не спасают: Манна-Уитни отвечает на вопрос про стохастическое превосходство, а бизнесу нужна именно сумма.
Третье, где ломается интерпретация: единица рандомизации должна совпадать с единицей метрики. Если делим пользователей, а считаем выручку на заказ, наблюдения зависимы, и нужна линеаризация отношения, а не наивный t-тест по заказам.
Отдельно упомяните возвраты и отмены: выручка за окно теста и выручка после расчёта возвратов это разные числа.
Где спотыкаются
Считают среднюю выручку без обработки выбросов. Один крупный заказ переворачивает результат, и решение по продукту принимается фактически по одному наблюдению.
Второе: подглядывают в деньги каждый день и останавливают тест, как только достигнут порог значимости. На метрике с тяжёлым хвостом это почти гарантированная ложная находка, лечится фиксированным горизонтом или последовательными критериями.
Третье: обещают деньги, а меряют прокси. Рост добавлений в корзину без проверки выручки регулярно означает, что перетянули спрос с другого канала, а суммарный доход не изменился.