В чем компромисс между недообучением и переобучением
Что проверяют
Понимаете ли вы связь сложности модели с ошибкой на новых данных и умеете ли по метрикам понять, в какую сторону ошибается модель. Следом обычно спрашивают, что конкретно вы сделаете, если метрика на train высокая, а на валидации низкая, и наоборот.
Как отвечать
Начните с разложения ошибки. Для квадратичной потери ожидаемая ошибка на новых данных раскладывается на квадрат смещения, дисперсию и неустранимый шум. Простая модель систематически промахивается (высокое смещение, недообучение), слишком гибкая подстраивается под шум конкретной выборки (высокая дисперсия, переобучение). Снижая одно, вы обычно увеличиваете другое, а минимум общей ошибки лежит посередине.
Диагностика:
- недообучение: ошибка высокая и на train, и на валидации, и они близки;
- переобучение: на train низкая, на валидации заметно выше, разрыв растёт по ходу обучения;
- кривые обучения: ошибка в зависимости от объёма данных. Если кривые сошлись на плохом уровне, новые данные не помогут, нужна модель мощнее или признаки;
- validation curve: ошибка в зависимости от гиперпараметра сложности, например
max_depthили силы регуляризации.
Лечение:
- от недообучения: больше признаков, более гибкая модель, слабее регуляризация, дольше обучение, бустинг;
- от переобучения: регуляризация L1/L2, dropout, early stopping, ограничение глубины деревьев и
min_samples_leaf, бэггинг, больше данных, аугментация.
Сложность выбирают на кросс-валидации, тест трогают один раз в конце. Для глубоких сетей оговоритесь про double descent: сильно перепараметризованные модели иногда обобщают лучше, так что классическая U-образная кривая не универсальна.
Где спотыкаются
Называют нехватку данных причиной недообучения. Маленькая выборка чаще ведёт к переобучению, а недообучение лечится мощностью модели и признаками, новыми данными его не исправить.
Подбирают гиперпараметры по тестовой выборке. Тест превращается во вторую валидацию, и честной оценки больше нет.
Не проверяют утечку данных. Отличная метрика на валидации при утечке выглядит как идеальный баланс, а в проде модель проваливается.