Какие метрики используются для регрессии

Что проверяют

Знаете ли вы не формулы, а свойства метрик: что штрафуется сильнее, что ломается на выбросах и нулях, что вообще можно сравнивать между моделями. Следом почти всегда идёт прикладной вопрос: какую метрику возьмёте для прогноза спроса или для оценки цены квартиры и почему.

Как отвечать

• MAE: средняя абсолютная ошибка, в единицах таргета, устойчива к выбросам, её оптимум это медиана распределения;
• MSE и RMSE: квадратичный штраф, крупные промахи весят больше, оптимум это среднее. RMSE удобнее читать, она в единицах таргета;
• R²: доля объяснённой дисперсии относительно константной модели среднего. На тесте бывает отрицательным, если модель хуже среднего, а на обучении растёт от любого добавленного признака, отсюда adjusted R²;
• MAPE: относительная ошибка в процентах, взрывается на значениях около нуля и наказывает завышение сильнее занижения;
• WAPE и sMAPE: обходят эти проблемы, WAPE это сумма абсолютных ошибок, делённая на сумму фактов;
• MASE: ошибка относительно наивного прогноза, честный способ показать, что модель вообще нужна;
• RMSLE: когда важна относительная ошибка, а у таргета длинный правый хвост;
• pinball loss: для квантильной регрессии, когда промах вверх и вниз стоят по-разному, например при пополнении склада.

Заканчивайте бизнес-логикой: метрика отражает цену ошибки, а не привычку команды. И всегда показывайте сравнение с базовой моделью, будь то среднее, прошлый период или действующее правило.

Про инструменты: в scikit-learn метрики ошибок в scoring идут с приставкой neg_, потому что кросс-валидация максимизирует значение, а для корня из MSE есть отдельная root_mean_squared_error, параметр squared из старого API убран.

Где спотыкаются

Берут MAPE на данных с нулями и малыми значениями и получают тысячи процентов из-за нескольких строк.

Сравнивают R² моделей, обученных на разных выборках. Величина зависит от дисперсии таргета, а не только от качества модели.

Обучают на MSE, отчитываются по MAE и не понимают, почему модель тянется за выбросами. Метрика обучения и метрика приёмки должны быть согласованы или различаться осознанно.