Какой бизнес-эффект дает успешный аб-тест?

Что проверяют

Умеете ли вы перевести результат эксперимента в деньги и решения, а не остановиться на «p-value меньше 0,05». Второе, что ищут, это трезвость: понимаете ли вы, что эффект в тесте и эффект после раскатки не одно и то же. Следом обычно просят рассказать про ваш тест и как вы посчитали его вклад.

Как отвечать

Начните с того, что успешный тест даёт два результата. Первый это измеренный прирост целевой метрики. Второй, не менее ценный, это решение с понятной неопределённостью: раскатывать или нет и насколько вы уверены. Тест без эффекта тоже полезен, он удерживает от раскатки изменения, которое ничего не дало или навредило.

Дальше каркас на своём примере:

• метрики: одна целевая (конверсия в покупку, выручка на пользователя, удержание на седьмой день) и guardrail-метрики, которые не должны просесть: отказы, жалобы, время ответа сервиса;
• перевод в деньги: прирост метрики, умноженный на базу пользователей и средний чек за период. Называйте не точку, а доверительный интервал, например «от 0,3 до 1,1 п.п. к конверсии»;
• проверка после раскатки: holdout-группа, которая ещё какое-то время живёт без изменения, показывает, сохранился ли эффект;
• для ML-моделей: рост ROC-AUC офлайн не гарантирует рост бизнес-метрики онлайн, поэтому новая модель тоже проходит A/B;
• побочная ценность: знание о пользователях, которое переносится на следующие гипотезы.

Приведите свой тест с настоящими цифрами. Если сами тесты не проводили, честно скажите, что участвовали как поставщик модели или данных, и опишите, как команда считала эффект.

Где спотыкаются

Называют эффект без статистики: «в варианте А 5%, в Б 7%, значит Б лучше». Без размера выборки, интервала и проверки значимости это ничего не доказывает.

Переносят прирост из теста в годовой прогноз один к одному. Эффекты, прошедшие порог значимости, в среднем завышены, а эффект новизны со временем выветривается.

Смотрят на одну метрику и не замечают, что рост конверсии куплен скидкой, после которой упала маржа.