К чему относится переобучение: к смещению или к разбросу

Что проверяют

Понимаете ли вы разложение ошибки модели на составляющие и умеете ли по метрикам отличить переобучение от недообучения. Следом почти всегда просят рассказать, как это диагностировать и что конкретно вы сделаете, чтобы снизить разброс.

Как отвечать

Короткий ответ: переобучение это высокий разброс (variance) при низком смещении (bias). Дальше покажите, откуда это берётся:

• разложение: для квадратичной функции потерь ожидаемая ошибка на новых данных раскладывается на bias², variance и неустранимый шум. Смещение показывает, насколько модель систематически промахивается, разброс, насколько она меняется от одной обучающей выборки к другой;
• переобучение: модель запомнила шум обучающей выборки. На train ошибка низкая, на валидации заметно выше, и разрыв растёт с ростом сложности модели или числа эпох;
• недообучение: высокое смещение, ошибка высокая и на train, и на валидации, и значения близки;
• диагностика: кривые обучения (ошибка от размера выборки), валидационные кривые (ошибка от гиперпараметра), кросс-валидация вместо одного разбиения.

Чем снижать разброс: регуляризация L1/L2, dropout и early stopping в нейросетях, ограничение max_depth и min_samples_leaf у деревьев, больше данных и аугментация, отбор признаков. Добавьте про ансамбли: бэггинг и случайный лес в первую очередь уменьшают разброс, бустинг последовательно уменьшает смещение и без небольшого learning_rate и ранней остановки сам легко переобучается.

Сильный штрих: классическая U-образная кривая не универсальна. У сильно перепараметризованных нейросетей наблюдается double descent, когда ошибка на тесте после пика снова падает.

Где спотыкаются

Путают стороны и называют переобучение высоким смещением. Проверка простая: смещение про слишком простую модель, а переобучается как раз сложная.

Считают, что больше данных лечит всё. Новые данные снижают разброс, но недообученной линейной модели на нелинейной задаче не помогут, там нужна модель сложнее или новые признаки.

Смотрят только на метрику на валидации и не сравнивают её с train. Без этого разрыва нельзя сказать, переобучение перед вами или недообучение, а значит, и выбрать лечение.