Что такое метрика ROC AUC
Что проверяют
Понимаете ли вы вероятностный смысл метрики и знаете ли, когда она вводит в заблуждение.
Как отвечать
ROC-кривая строится для бинарного классификатора, выдающего оценку: перебираются все пороги, и для каждого откладывается доля верно найденных положительных (TPR, полнота) против доли ложных срабатываний (FPR). AUC это площадь под этой кривой.
Самое полезное определение это вероятностное: AUC равна вероятности того, что случайно взятый положительный объект получит оценку выше, чем случайно взятый отрицательный. То есть метрика измеряет качество ранжирования, а не качество ответов при конкретном пороге.
Ориентиры: 0.5 это случайное угадывание, 1.0 идеал, значение заметно ниже 0.5 означает, что модель научилась правильно, но знаки перепутаны.
Сильные стороны: не требует выбора порога, не зависит от того, какую долю объектов вы решили относить к положительным, удобна для сравнения моделей между собой.
Слабые стороны, и это главное в ответе:
- при сильном дисбалансе классов AUC выглядит оптимистично. FPR считается от большого числа отрицательных, поэтому даже тысячи ложных срабатываний почти не сдвигают кривую. Модель с AUC 0.95 может давать точность 3% на редком классе. В таких задачах смотрят PR-кривую и среднюю точность;
- ничего не говорит о калибровке: оценки могут быть верно упорядочены, но не быть вероятностями. Если число нужно трактовать как вероятность, смотрят логистическую функцию потерь и калибровочную кривую;
- не отражает цену ошибки: пропустить мошенническую операцию и напрасно заблокировать честную стоят по-разному, а AUC усредняет по всем порогам, включая заведомо бессмысленные.
Поэтому в проде AUC берут для сравнения моделей, а рабочий порог выбирают отдельно, по бизнес-метрике.
Где спотыкаются
Считают AUC долей правильных ответов.
Используют её на сильно несбалансированных данных без PR-кривой.
Забывают, что порог всё равно придётся выбирать.
Путают ROC AUC и PR AUC.