Что такое A/B тест и почему он полезен

Что проверяют

Отвечаете ли вы за решение, а не только за расчёт. За вопросом стоит проверка статистической дисциплины: эксперимент легко провести так, что цифры получатся красивые, а вывод из них будет неверным, и интервьюер хочет услышать, где вы ставите защиту.

Как отвечать

Определение короткое: аудитория случайным образом делится на группы, группам показывают разные версии продукта, и по заранее выбранной метрике проверяется гипотеза, что различие не объясняется случайностью.

Дальше разверните порядок работы, это и есть содержательная часть ответа:

• гипотеза и целевая метрика фиксируются до запуска, вместе с защитными метриками, которые не должны просесть;
• единицей рандомизации берут пользователя, а не сессию и не запрос, иначе один человек попадёт в обе группы;
• размер выборки и длительность считают заранее, из минимального различия, которое вообще имеет смысл для бизнеса;
• сплиттер проверяют A/A тестом, а по ходу эксперимента следят за перекосом долей между группами;
• итог читают один раз в конце, по доверительному интервалу, а не по ежедневному графику.

Польза формулируется так: эксперимент переводит спор о вкусах в проверяемое утверждение и ограничивает цену ошибки, потому что неудачный вариант видит лишь часть аудитории.

Где спотыкаются

Подглядывают в результат и останавливают тест, как только различие стало значимым. При многократной проверке одних и тех же данных вероятность ложной находки растёт, и такие победы потом не воспроизводятся.

Считают все метрики подряд и радуются той, которая выстрелила. Без поправки на множественные сравнения хотя бы одна из десятка покажет эффект случайно, поэтому целевую выбирают заранее.

Путают статистическую значимость с практической. На большой выборке значимым становится крошечное различие, и решение принимают по величине эффекта и доверительному интервалу, а не по одному факту, что порог пройден.