Перечислите метрики качества модели бинарной классификации и их отличия

Что проверяют

Понимаете ли вы, что выбор метрики это про задачу и цену ошибки, а не про заученный список формул. Перечислить умеют все, поэтому следом идёт вопрос про дисбаланс классов: почему accuracy в 99% может означать бесполезную модель и что смотреть вместо неё.

Как отвечать

Стройте ответ от матрицы ошибок, всё остальное выводится из TP, FP, FN, TN:

• accuracy: доля верных ответов, честна только при сопоставимых по размеру классах и сопоставимой цене ошибок;
• precision: TP / (TP + FP), отвечает на вопрос «насколько можно верить положительному предсказанию»;
• recall: TP / (TP + FN), отвечает «сколько положительных объектов мы не пропустили»;
• F1: гармоническое среднее precision и recall, а F-beta смещает акцент, при beta > 1 в пользу recall;
• ROC-AUC: вероятность того, что случайный положительный объект получит балл выше случайного отрицательного. От порога не зависит;
• PR-AUC (average precision): то же для пары precision и recall. При сильном дисбалансе показательнее ROC-AUC, потому что не награждает модель за лёгкие верные ответы на огромном отрицательном классе;
• log loss и Brier score: качество самих вероятностей, а не порядка объектов;
• MCC и balanced accuracy: устойчивые сводные числа на перекошенных классах.

Разделите метрики на пороговые (precision, recall, F1) и ранжирующие (ROC-AUC, PR-AUC). Модель отдаёт вероятность, порог выбирается отдельно и по стоимости ошибок: в антифроде дорого стоит пропуск, в маркетинговой рассылке дорого стоит ложное срабатывание.

Сильное завершение это калибровка. Выход бустинга или SVM смещён, и если число уходит в бизнес-правило как вероятность, его калибруют (метод Платта, изотоническая регрессия) и проверяют по reliability-диаграмме.

Где спотыкаются

Приносят accuracy на данных, где положительных 1%. Константный ответ «всё отрицательное» даёт 99%, и модель не лучше заглушки.

Называют F1 универсальной метрикой. Она уравнивает цену FP и FN, чего в реальной задаче почти никогда не бывает.

Радуются ROC-AUC 0.95 на сильно несбалансированной выборке, не посмотрев PR-кривую. Precision на рабочем пороге там нередко оказывается ниже 0.2.