Почему нельзя учиться просто на выходах в градиентном бустинге

Что проверяют

Понимаете ли вы, что бустинг это градиентный спуск в пространстве функций, а не присказка «каждое дерево учится на ошибках предыдущего». Вопрос сформулирован расплывчато, поэтому первым делом уместно уточнить, о чём речь.

Как отвечать

Обычно спрашивают, почему очередная модель приближает не сам целевой признак и не предсказание предыдущей модели, а антиградиент функции потерь по текущему предсказанию ансамбля.

Схема такая. Есть текущий прогноз ансамбля и функция потерь. Считаем производную потерь по прогнозу в каждой точке обучающей выборки, берём её со знаком минус, обучаем очередное дерево предсказывать именно эти значения и добавляем его к ансамблю с небольшим шагом. Шаг нужен, чтобы двигаться маленькими порциями, как в обычном градиентном спуске.

Для квадратичной потери антиградиент совпадает с остатком, поэтому «учимся на остатках» это частный случай, а не определение. Для логистической потери это разность между меткой и вероятностью, для абсолютной потери фактически знак ошибки, для квантильной асимметричная константа. Если учить каждое дерево на исходном целевом признаке, все деревья получатся почти одинаковыми: ансамбль будет усреднять одно и то же, то есть выйдет бэггинг, а не бустинг, и ошибка перестанет убывать.

Плюсом можно упомянуть второй порядок: реализации вроде XGBoost используют и градиент, и вторую производную, а значения в листьях считают отдельной формулой, а не средним градиента.

Где спотыкаются

Говорят «дерево учится на ошибках предыдущего дерева». Учится оно на ошибках всего текущего ансамбля, иначе шаг не сходится и добавление моделей не улучшает прогноз.

Считают остаток и градиент синонимами. Совпадают они только для квадратичной потери, и на вопросе про классификацию такой ответ разваливается: там оптимизируется логистическая потеря, и разность меток остатком не является.

Забывают про темп обучения и про то, зачем он нужен. Без уменьшения шага ансамбль подгоняется под обучающую выборку за считаные итерации, и весь смысл постепенного приближения теряется.