Какие методы борьбы с переобучением есть в нейронных сетях

Что проверяют

Понимаете ли вы, откуда берётся переобучение, и выбираете ли метод под причину, а не перечисляете список из учебника.

Как отвечать

Переобучение это когда модель запомнила шум обучающей выборки: на трейне метрика растёт, на валидации падает. Причина всегда одна из двух, модель слишком сложна для объёма данных или данных мало.

Данные. Больше примеров, аугментация (повороты и шум для картинок, перефразирование для текста). Самый надёжный путь и самый дорогой.

Ограничение модели. L2 (Ridge) тянет веса к нулю и сглаживает решение, L1 (Lasso) зануляет часть коэффициентов и заодно отбирает признаки. Меньше глубина дерева, меньше слоёв, меньше размерность.

Приёмы обучения. Dropout выключает случайные нейроны и мешает сети опираться на отдельные связи. Early stopping останавливает обучение, когда валидационная ошибка перестала падать. Batch normalization даёт побочный регуляризующий эффект.

Ансамбли. Бэггинг и случайный лес усредняют ошибки независимых моделей.

Как это увидеть. Кривые обучения и кросс-валидация: трейн и валидация разошлись это переобучение, обе метрики плохи это недообучение, и лечение там противоположное.

Где спотыкаются

Перечисляют методы, но не говорят, что применили бы первым и почему.

Подбирают гиперпараметры по тестовой выборке и удивляются просадке на проде: тест перестал быть честным в момент первого подбора.

Считают, что регуляризация всегда улучшает. Слишком сильная даёт недообучение.

Не вспоминают про утечку данных, хотя на практике завышенная метрика чаще из-за неё, чем из-за переобучения.