Что происходит после раскатки A/B теста и какой элемент мониторинга используется

Что проверяют

Понимаете ли вы, что эксперимент не заканчивается раскаткой, и знаете ли, что смотрят в первую очередь. Правильный ответ начинается не с целевой метрики, а с проверки здоровья самого теста.

Как отвечать

Сразу после раскатки смотрят, можно ли вообще доверять данным:

• фактическое распределение по группам против ожидаемого. Расхождение долей выборки означает поломанное разбиение, и результат читать нельзя, сколько бы красивым он ни был;
• сторожевые метрики: доля ошибок, время ответа, отказы, выручка, удаление приложения. Они и есть тот самый элемент мониторинга, дашборд со сторожевыми метриками и оповещением на просадку. Целевая метрика может расти, а тест всё равно придётся выключить;
• целостность логирования: доехали ли события, нет ли дублей, не попал ли один пользователь в обе группы.

И только потом эффект: целевая метрика, доверительный интервал, значение p при заранее выбранном уровне значимости и заранее рассчитанном размере выборки. Длительность добирают до целого числа недель, иначе в результат попадёт недельная сезонность.

Финал: решение раскатывать, откатывать или повторить, плюс наблюдение за метрикой после полной раскатки, потому что эффект новизны со временем спадает.

Где спотыкаются

Смотрят результаты каждый день и выключают тест на первом «значимо». Многократные проверки раздувают долю ложных срабатываний. Нужна остановка по ходу, берите последовательные критерии или байесовский подход, а не обычный тест на каждом срезе.

Меряют десяток метрик и объявляют победу по той, что выстрелила. Целевая выбирается до старта, остальные вспомогательные и сами по себе решения не принимают.

Путают отсутствие значимости с отсутствием эффекта. Незначимый результат на маленькой выборке означает только то, что тест не смог различить эффект нужного размера.