Какие метрики классификации использовать при сильном дисбалансе классов
Что проверяют
Понимаете ли вы, почему доля правильных ответов бесполезна, и знаете ли, чем PR-кривая лучше ROC.
Как отвечать
Сразу назовите, что не годится: доля правильных ответов. При соотношении классов сто к одному модель, всегда отвечающая «отрицательный», даст 99% и не найдёт ни одного нужного случая.
Что использовать:
- матрица ошибок: не метрика, а основа. Из неё видно, сколько именно пропусков и ложных срабатываний, и разговор сразу становится предметным;
- точность и полнота по редкому классу, а также их сводка через гармоническое среднее. Если один тип ошибки дороже, берут версию с весом, смещающую баланс в нужную сторону;
- средняя точность, то есть площадь под PR-кривой. Это основная метрика при дисбалансе;
- коэффициент корреляции Мэтьюса: одна сводная величина, учитывающая все четыре клетки матрицы и устойчивая к дисбалансу. Хорош, когда нужен один показатель для сравнения моделей;
- сбалансированная доля правильных ответов как простая замена обычной.
Почему PR-кривая лучше ROC именно здесь, это ключевой пункт. Доля ложных срабатываний в ROC считается относительно большого числа отрицательных объектов, поэтому даже тысяча ложных срабатываний почти не сдвигает кривую. Точность же считается относительно предсказанных положительных, которых мало, и та же тысяча обрушивает её. Поэтому модель с прекрасным ROC AUC может оказаться непригодной, а PR-кривая покажет это сразу.
Что ещё важно:
- порог выбирается по цене ошибок, а не по умолчанию в половину. Формулировка задачи обычно звучит как «максимизировать полноту при точности не ниже заданной»;
- разбиение выборки стратифицированное, иначе в проверочной части редкого класса может почти не оказаться;
- для многих классов смотрят усреднение по классам, а не взвешенное, иначе редкие классы утонут в частых.
Где спотыкаются
Отчитываются долей правильных ответов.
Используют ROC AUC как единственную метрику.
Оставляют порог по умолчанию.
Делают случайное разбиение без стратификации.