Какая метрика важнее: precision или recall в зависимости от задачи?
data engineeringprecisionrecallалгоритмыметрики
Что проверяют
Понимаете ли вы, что выбор определяется ценой ошибки, и умеете ли привести примеры в обе стороны.
Как отвечать
Сначала определения через ошибки:
- точность (precision) это доля действительно положительных среди тех, кого модель назвала положительными. Она отвечает на вопрос «насколько можно верить срабатыванию» и падает от ложных срабатываний;
- полнота (recall) это доля найденных среди всех действительно положительных. Отвечает на вопрос «многое ли мы пропускаем» и падает от пропусков.
Что важнее, определяет цена ошибки каждого типа.
Полнота важнее, когда пропуск дороже ложной тревоги:
- медицинский скрининг: пропустить болезнь хуже, чем отправить здорового на дополнительное обследование;
- поиск мошеннических операций и уязвимостей: пропущенный случай стоит денег или взлома, а ложная тревога стоит проверки;
- отбор кандидатов на ручную модерацию: лучше показать человеку лишнее, чем пропустить нарушение.
Точность важнее, когда ложное срабатывание дорого:
- автоматическая блокировка учётной записи или платежа: ошибочная блокировка бьёт по живому пользователю;
- фильтр спама: письмо от коллеги в спаме хуже, чем спам во входящих;
- рекомендации и подсказки, где мест мало: показать нерелевантное значит потратить единственный слот.
Что говорить дальше, чтобы ответ был полным:
- обе метрики зависят от порога, и обычно задача формулируется как «максимизировать полноту при точности не ниже заданной». Так требование становится проверяемым;
- F1 это их гармоническое среднее, а мера с параметром позволяет явно сместить вес в нужную сторону;
- при сильном дисбалансе классов смотрят PR-кривую, а не ROC;
- в реальных задачах правильный ход это перевести ошибки в деньги или в понятный ущерб и выбирать порог по этому расчёту, а не по красоте метрики.
Где спотыкаются
Называют одну метрику важнее без привязки к задаче.
Оптимизируют F1 по умолчанию, не думая про цену ошибок.
Забывают, что обе метрики двигаются порогом.
Используют долю правильных ответов на несбалансированных данных.