Какие методы регуляризации применимы к нейросетям
Что проверяют
Понимаете ли вы, что регуляризация это набор способов ограничить ёмкость модели или добавить шума, и умеете ли выбирать метод по симптому, а не по списку. Следом обычно спрашивают, как вы вообще поняли, что модель переобучается, и что стали бы крутить первым.
Как отвечать
Разложите по группам, с числами там, где они есть:
- штраф на веса: L2 (weight decay) прижимает веса к нулю, L1 даёт разреженность. В PyTorch корректный вариант это
AdamW, где weight decay развязан с адаптивным шагом, а не L2 внутриAdam; - dropout: случайное зануление активаций с вероятностью p при обучении, на инференсе выключается, масштабирование делается на этапе обучения. Типичные значения 0.1 для трансформеров и 0.3 или 0.5 для полносвязных слоёв, для свёрточных сетей чаще берут stochastic depth;
- нормализация: BatchNorm попутно даёт шум от состава мини-батча, LayerNorm и RMSNorm в трансформерах решают в первую очередь задачу устойчивости обучения;
- данные: аугментации сильнее любой правки лосса. Для изображений отражения, RandAugment, mixup и CutMix, для текста маскирование и обратный перевод;
- процесс обучения: ранняя остановка по валидации, label smoothing около 0.1, обрезка градиента, усреднение весов (EMA или SWA), просто меньшая модель;
- дообучение больших моделей: LoRA и адаптеры сами ограничивают число обучаемых параметров, к ним добавляют маленький шаг обучения и одну-две эпохи.
Покажите, как вы это проверяете: расходящиеся кривые обучающего и валидационного лосса, подбор коэффициентов по валидации, финальный замер один раз на отложенной выборке.
Где спотыкаются
Включают dropout и weight decay «на всякий случай», не посмотрев на кривые. Если модель недообучена, регуляризация только усугубляет положение, и рост ошибки списывают на данные.
Забывают перевести модель в model.eval() перед инференсом. Dropout и BatchNorm продолжают работать в режиме обучения, метрика прыгает от запуска к запуску, а причину ищут в предобработке.
Вешают weight decay на все параметры подряд, включая смещения и параметры нормализаций. На практике их исключают из штрафа, иначе модель теряет способность к сдвигу и масштабу.