Что такое bias и variance
Что проверяют
Понимаете ли вы, откуда берётся ошибка модели, и умеете ли по метрикам поставить диагноз. Почти всегда следом дают цифры: «на трейне 0.98, на валидации 0.71, что делать?», или спрашивают, как на bias и variance влияют бэггинг и бустинг.
Как отвечать
Для квадратичной функции потерь ожидаемая ошибка раскладывается на три части: bias² + variance + неустранимый шум. Ожидание берётся по всем возможным обучающим выборкам из одного распределения.
- bias (смещение): насколько среднее предсказание модели, обученной на разных выборках, отличается от истинной зависимости. Высокий bias значит недообучение: модель слишком простая, ошибка высокая и на трейне, и на валидации;
- variance (разброс): насколько предсказание меняется, если обучить модель на другой выборке. Высокий variance значит переобучение: на трейне отлично, на валидации заметно хуже, и метрика сильно скачет по фолдам кросс-валидации;
- наглядный пример: kNN. При
k = 1модель запоминает выборку, variance огромный; приk, равном размеру выборки, она всегда предсказывает среднее, и bias максимальный.
Рычаги против variance: больше данных, регуляризация L1 и L2, dropout, ограничение глубины деревьев, early stopping, бэггинг (случайный лес снижает variance усреднением). Против bias: более сложная модель, новые признаки, ослабление регуляризации, бустинг, который последовательно уменьшает bias. Диагноз ставят по кривым обучения: ошибка на трейне и на валидации в зависимости от размера выборки.
Для сильно перепараметризованных нейросетей стоит упомянуть double descent: там классическая U-образная кривая ошибки от сложности модели выполняется не всегда.
Где спотыкаются
Советуют собрать больше данных при любой проблеме. От высокого bias это не поможет: кривые трейна и валидации уже сошлись на плохом уровне, и новые примеры их не опустят.
Путают термины: bias модели со свободным членом нейрона, со смещением выборки или с несправедливостью модели к группам людей. Слово одно, понятия разные.
Произносят определения, но не связывают их с цифрами. Сильный ответ по двум числам, трейну и валидации, сразу называет, что происходит и какой рычаг попробовать первым.