Почему MAE менее чувствителен к выбросам, чем MSE?

Что проверяют

Понимаете ли вы разницу между весом ошибки в формуле и её производной, и знаете ли, что выбор функции потерь задаёт, какую статистику распределения приближает модель. Ответ уровня «там нет квадрата» интервьюера не устраивает.

Как отвечать

Дать три слоя объяснения, от простого к точному.

Первый: MSE возводит ошибку в квадрат, поэтому промах в десять раз больше даёт вклад в сто раз больше. У MAE вклад растёт линейно, и один далёкий объект не перевешивает всю выборку.

Второй, про обучение: у MSE производная по предсказанию пропорциональна самой ошибке, то есть выброс тянет градиент сильнее остальных примеров вместе взятых. У MAE производная это знак ошибки, по модулю одинаковая для всех объектов: у выброса ровно один голос, как у любой другой точки.

Третий, самый сильный: минимум MSE достигается на условном среднем, минимум MAE на условной медиане. Среднее сдвигается от одного далёкого значения, медиана нет. Устойчивость это не свойство формулы, а свойство оценки, которую эта формула выбирает.

Дальше про выбор: MAE берут, когда большие ошибки чаще означают грязные данные; MSE, когда крупный промах реально дороже мелкого. Компромисс это Huber, квадратичная у нуля и линейная на хвостах, с параметром границы. Для несимметричной цены ошибки есть квантильная функция потерь.

Где спотыкаются

Путают метрику качества и функцию потерь. Обучать на MSE и отчитываться по MAE можно, но тогда модель оптимизирует не то, что вы меряете, и на выбросах отчёт разойдётся с ожиданиями заказчика.

Объявляют MAE лучшей всегда. У неё постоянный по модулю градиент, поэтому в нуле она не дифференцируема, а вблизи оптимума шаги не затухают сами и нужен спуск по скорости обучения. В градиентном бустинге обучение на абсолютной ошибке заметно медленнее.

Считают любой выброс мусором. Если длинный хвост это настоящее поведение, вроде пика спроса или аварии, ослабление его влияния даёт модель, которая такие случаи никогда не предскажет. Сначала разбираются с природой хвоста, потом выбирают функцию потерь.