Как добавление одинаковых значений ко всем объектам влияет на метрики классификации

Что проверяют

Понимаете ли вы, какие метрики зависят от порога и абсолютных значений, а какие только от порядка объектов. Обычно вопрос звучит так: ко всем предсказанным скорам прибавили константу, что стало с ROC-AUC, accuracy и log loss. Следом могут спросить про сдвиг признака вместо скора.

Как отвечать

Разберите по группам метрик.

• ранговые (ROC-AUC, PR-AUC, average precision): не меняются. Они зависят только от того, как объекты упорядочены по скору, а прибавление константы порядок сохраняет. То же верно для любого строго возрастающего преобразования, например умножения на положительное число;
• пороговые (accuracy, precision, recall, F1): меняются. Условие s + c > t равносильно сравнению исходного скора с порогом, опущенным на c, то есть сдвиг скора это сдвиг порога. При положительном c растёт recall, обычно падает precision, accuracy может уйти в любую сторону;
• вероятностные (log loss, Brier score): меняются и почти всегда ухудшаются, потому что ломается калибровка. Если скор был вероятностью, после сдвига он выходит за пределы от 0 до 1, и log loss теряет смысл;
• многоклассовый случай: одна и та же константа, прибавленная ко всем логитам объекта, не меняет softmax вовсе, поэтому не меняются ни вероятности, ни предсказанный класс.

Если речь про сдвиг признака, ответ тоже короткий. Деревья его не замечают, пороги разбиения просто сдвигаются. У линейной и логистической регрессии со свободным членом меняется только он сам, предсказания те же. Евклидовы расстояния в kNN не меняются. Новый признак, одинаковый у всех объектов, не несёт информации и лишь дублирует свободный член.

Где спотыкаются

Говорят, что константа «вносит смещение» и ведёт к переобучению. Модель не может ничему научиться по значению, которое одинаково у всех объектов.

Считают, что ROC-AUC упадёт вместе с accuracy, и не видят, что это метрика порядка, а не порога.

Забывают про калибровку: ранжирование не пострадало, но предсказания больше нельзя использовать как вероятности, например для расчёта ожидаемой выручки.