Что такое ошибки первого и второго рода
Что проверяют
Понимаете ли вы, что у любого решения по данным есть две цены, и умеете ли объяснить это на бизнес-примере, а не только формулами.
Как отвечать
Обе ошибки описывают проверку гипотез. Нулевая гипотеза говорит «эффекта нет».
- Ошибка первого рода: отвергли нулевую гипотезу, хотя эффекта нет. Ложная тревога. Её вероятность это уровень значимости, обычно 0.05;
- Ошибка второго рода: не отвергли нулевую, хотя эффект есть. Пропуск. Её вероятность обозначают бетой, а величину
1 - бетаназывают мощностью критерия.
Полезно привести пример из жизни продукта: в A/B-тесте ошибка первого рода означает выкатить изменение, которое на самом деле ничего не даёт, а ошибка второго рода означает отказаться от работающей идеи. В медицинском тесте первая это сказать здоровому «болен», вторая пропустить болезнь.
Дальше главное: ошибки связаны. Ужесточив порог значимости, вы реже поднимаете ложную тревогу, но чаще пропускаете реальный эффект. Настоящий способ уменьшить обе сразу это увеличить выборку или снизить дисперсию (стратификация, CUPED, более чувствительная метрика). Поэтому мощность считают заранее: выбирают минимально интересный эффект, желаемую мощность (обычно 0.8) и получают нужный размер выборки.
Отдельно упомяните множественные проверки: чем больше метрик и срезов проверяется, тем выше шанс ложной тревоги хотя бы в одном, и нужна поправка или контроль доли ложных открытий.
Где спотыкаются
Путают, какая ошибка какая. Простое правило: первая это найти то, чего нет.
Считают, что уровень значимости 0.05 универсален. Он выбирается из цены ошибки: для выкладки в прод и для медицинского решения цены разные.
Забывают про мощность и запускают тест, который в принципе не способен заметить ожидаемый эффект.