Что в платформе для аб-тестов считается автоматически, а что вручную?
Что проверяют
Работали ли вы с внутренней платформой экспериментов и понимаете ли, где заканчивается автоматика и начинается решение аналитика. Вопрос отделяет тех, кто жал кнопку раскатки по зелёной плашке, от тех, кто отвечает за корректность вывода.
Как отвечать
Разделите явно. Платформа обычно берёт на себя:
- разбиение на варианты по хэшу от идентификатора с солью эксперимента, чтобы одни и те же пользователи не попадали в один вариант из теста в тест;
- логирование экспозиций: кто и когда реально увидел вариант, а не кто попал в выборку;
- ежедневный пересчёт метрик по витринам, доверительные интервалы, уровень значимости;
- проверки здоровья теста: SRM (расхождение фактического сплита с ожидаемым), просадка guardrail-метрик, рост ошибок;
- автоматическую остановку по критичным метрикам и отчёт в едином виде.
Руками остаётся всё, что требует решения:
- гипотеза, главная метрика и единица рандомизации (пользователь, сессия, устройство, географический кластер);
- расчёт минимального детектируемого эффекта и длительности до запуска, а не после;
- выбор критерия под тип метрики и поправка на множественные сравнения;
- разбор аномалий, сегментов и пересечения с другими экспериментами;
- решение о раскатке с учётом цены изменения, а не только значимости.
Хороший ответ заканчивается мыслью, что платформа считает числа, а ответственность за вывод не автоматизируется.
Где спотыкаются
Считают, что рандомизация сама снимает смещение. Она не спасает от перетекания пользователей между вариантами, от кэша и от того, что часть трафика не дошла до логирования. Поэтому SRM проверяется всегда, и при расхождении результат не читают вовсе.
Второе: смотрят в дашборд каждый день и останавливают тест на первом значимом результате. Без последовательного критерия такое подглядывание раздувает долю ложных срабатываний в разы.
Третье: применяют обычный t-тест к выручке с тяжёлым хвостом и к метрикам-отношениям, где единица анализа мельче единицы рандомизации. Нужны бутстрап или дельта-метод, иначе интервал выходит уже реального, и эффект находится там, где его нет.