Какая целевая переменная у n-го дерева в градиентном бустинге?

Что проверяют

Понимаете ли вы, откуда в бустинге слово «градиентный», или знаете только упрощённую версию про остатки. Следом почти всегда спрашивают, что будет целевой переменной для логистической функции потерь.

Как отвечать

Ансамбль строится по шагам: F_n(x) = F_{n-1}(x) + η·h_n(x), где η это learning rate. Дерево h_n обучается предсказывать антиградиент функции потерь по текущему предсказанию ансамбля, то есть псевдоостатки: производную dL(y_i, F)/dF со знаком минус, взятую в точке F = F_{n-1}(x_i).

Дальше покажите, как это выглядит для разных потерь:

• MSE (с множителем 1/2): антиградиент равен y-F, то есть обычному остатку. Отсюда и популярное объяснение «дерево учится на ошибках»;
• логистическая потеря: псевдоостаток равен y-p, где p это сигмоида от текущего логита. Сумма деревьев живёт в пространстве логитов, а не вероятностей;
• MAE: антиградиент равен знаку остатка, поэтому выбросы влияют на обучение слабее.

Стартовое значение F_0 это оптимальная константа: среднее для MSE, медиана для MAE, логарифм шансов для бинарной классификации.

Сильный ответ добавляет две детали. Первая: в классическом GBM Фридмана дерево подбирает структуру по псевдоостаткам, а значения в листьях потом пересчитываются под исходную функцию потерь. Вторая: XGBoost и LightGBM используют и вторую производную, вес листа считается как -G/(H+λ), где G и H это суммы градиентов и гессианов объектов в листе, а λ отвечает за L2-регуляризацию. Для многоклассовой задачи на каждой итерации строится по дереву на каждый класс.

Где спотыкаются

Говорят «целевая переменная это остаток» без оговорок. Это верно только для квадратичной потери, и на вопросе про классификацию ответ разваливается.

Считают остаток от предыдущего дерева, а не от всего ансамбля. Псевдоостатки берутся от суммы F_{n-1} с учётом learning rate, иначе каждое дерево чинило бы не ту ошибку.

Путают с AdaBoost, где на следующем шаге меняются веса объектов, а не целевая переменная. Это тоже бустинг, но механизм другой, и интервьюер обычно просит их сравнить.