Зачем нужна регуляризация в моделях

Что проверяют

Понимаете ли вы регуляризацию как управление компромиссом между смещением и разбросом, а не как волшебную защиту от переобучения. Следом обычно спрашивают, чем L1 отличается от L2 по результату и как подбирать силу штрафа.

Как отвечать

Регуляризация ограничивает сложность модели, чтобы она лучше обобщала на новые данные. Цена в росте смещения: слишком сильный штраф даёт недообучение. Основные способы:

• L2 (Ridge, weight decay): штраф на сумму квадратов весов. Веса уменьшаются, но не обнуляются, модель устойчивее при коррелированных признаках;
• L1 (Lasso): штраф на сумму модулей. Часть весов становится ровно нулевой, это встроенный отбор признаков;
• Elastic Net: смесь двух, полезна, когда признаков много и они коррелируют;
• бустинг: ограничение глубины и числа листьев, минимальный размер листа, learning_rate в паре с числом деревьев, subsample, штрафы reg_lambda и reg_alpha в XGBoost или l2_leaf_reg в CatBoost;
• нейросети: weight decay (в AdamW он отделён от адаптивного шага), dropout, ранняя остановка, аугментации.

Почему L1 даёт нули: у L1 область допустимых весов похожа на ромб с углами на осях, и оптимум чаще попадает в угол, где часть координат равна нулю. В байесовских терминах L2 соответствует нормальному априорному распределению весов, L1 распределению Лапласа.

Практика: в LogisticRegression из scikit-learn L2 включена по умолчанию, силу задаёт C, и это обратная величина: чем больше C, тем слабее штраф. В Ridge и Lasso сила задаётся через alpha напрямую. Коэффициент подбирают кросс-валидацией по логарифмической сетке.

Где спотыкаются

Не масштабируют признаки перед L1 или L2. Штраф зависит от масштаба, и признак в рублях штрафуется совсем иначе, чем признак в долях.

Путают направление C в scikit-learn и «усиливают регуляризацию», увеличивая C.

Считают L1 надёжным отбором признаков. Из группы коррелированных признаков Lasso оставляет один почти случайно, и на другой выборке набор меняется. Для интерпретации это ловушка, лучше Elastic Net или проверка стабильности отбора.