Как проводится A/B тестирование

Что проверяют

Знаете ли вы порядок действий и умеете ли считать нужный размер выборки заранее, а не подгонять результат по ходу.

Как отвечать

Разложите по этапам:

• гипотеза: что меняем и какого эффекта ждём. Формулировка должна быть проверяемой: не «улучшим интерфейс», а «новая карточка поднимет долю откликов»;
• метрика: одна главная, по которой принимается решение, плюс контрольные, которые не должны просесть (защитные метрики);
• расчёт до запуска: минимально интересный эффект, уровень значимости, мощность, разброс метрики. Отсюда получается нужное число наблюдений и срок. Если по расчёту нужно три месяца, тест лучше не запускать, а искать более чувствительную метрику;
• разделение: случайное, устойчивое (один пользователь всегда в одной группе), на нужном уровне (пользователь, сессия, устройство). Для сетевых эффектов делят по кластерам;
• проверка корректности: соотношение размеров групп совпадает с задуманным, до эксперимента группы неразличимы, метрики собираются одинаково;
• анализ: подходящий критерий, доверительный интервал для эффекта, проверка на выбросы. Для долей и для средних критерии разные, а тяжёлые хвосты требуют устойчивых методов или бутстрапа;
• решение: сравнение эффекта с ценой внедрения, а не только со значимостью.

Что стоит назвать из повышения чувствительности: стратификация, CUPED с использованием доисторических данных, выбор менее шумной метрики. Это позволяет уложиться в разумный срок без раздувания выборки.

Где спотыкаются

Не считают размер выборки заранее и получают тест, который в принципе не мог обнаружить эффект.

Смотрят результаты каждый день и останавливают на первом зелёном значении.

Меняют метрику после просмотра данных, подгоняя вывод под желаемый.