Что такое ROC-кривая
Что проверяют
Понимаете ли вы, что откладывается по осям и как кривая строится по порогам.
Как отвечать
Это график, показывающий поведение классификатора при всех возможных порогах. По вертикали откладывается доля верно найденных положительных объектов, по горизонтали доля ложных срабатываний среди отрицательных.
Как строится: модель выдаёт не метку, а оценку уверенности. Объекты сортируются по этой оценке, и порог двигается от максимума к минимуму. Каждое положение порога даёт пару значений и точку на графике.
Ориентиры на графике:
- левый нижний угол: порог максимален, положительным не назван никто;
- правый верхний угол: порог минимален, положительными названы все;
- левый верхний угол: идеал, все найдены и ни одного ложного срабатывания;
- диагональ: случайное угадывание. Кривая ниже диагонали означает, что модель научилась, но знаки перепутаны.
Площадь под кривой это сводная метрика, и у неё есть наглядный смысл: вероятность того, что случайный положительный объект получит оценку выше, чем случайный отрицательный.
Практическая ценность кривой, а не только площади: по ней выбирают рабочий порог. Видно, сколько ложных срабатываний придётся принять ради нужной полноты. Формальные способы выбора существуют, но правильнее считать цену каждой ошибки в деньгах или в пользовательском опыте и выбирать точку по ней.
Ограничение назвать обязательно: при сильном дисбалансе классов кривая выглядит оптимистично. Доля ложных срабатываний считается от большого числа отрицательных, поэтому даже тысяча ошибок почти не сдвигает график. В таких задачах смотрят кривую точности и полноты.
Обратная сторона того же свойства: кривая не зависит от соотношения классов, что делает её удобной для сравнения моделей, когда доля положительных со временем меняется.
Где спотыкаются
Не могут назвать, что отложено по осям.
Считают площадь под кривой долей правильных ответов.
Используют кривую при сильном дисбалансе без альтернативы.
Не понимают, что каждая точка соответствует своему порогу.