Что будет, если удалить дерево из бустинга

Что проверяют

Понимаете ли вы, что бустинг строится последовательно и каждое следующее дерево обучается на ошибке предыдущих. Это парный вопрос к такому же про случайный лес, и ценен именно контраст: одинаковая формулировка, противоположные ответы.

Как отвечать

В градиентном бустинге предсказание это сумма: базовое значение плюс вклады деревьев, каждый со своим темпом обучения. Любое дерево внутри цепочки обучалось на градиенте ошибки, оставшейся после всех предыдущих, а деревья после него правили ошибку, которая уже включала его вклад. Отсюда три разных случая:

• убрать хвост, последние деревья, безопасно: это ровно ранняя остановка, и библиотеки так и делают через best_iteration, iteration_range, ntree_limit;
• убрать дерево из середины значит внести систематическое смещение: последующие деревья продолжают доправлять то, чего больше нет, и предсказание уезжает целиком, а не немного;
• сильнее всего бьёт удаление первых деревьев, они несут основной сигнал, дальше идут всё более мелкие поправки.

Хороший финал: если дерево из середины действительно надо убрать, честный путь один, переобучить нужное число итераций. Малый темп обучения делает вклад отдельного дерева мелким по величине, но смещение остаётся смещением, оно не усредняется по ансамблю.

Где спотыкаются

Переносят рассуждение из случайного леса: «ансамбль усредняет, ничего страшного». В бустинге не усреднение независимых оценок, а сумма зависимых поправок, и выпадение слагаемого из середины не компенсируется ничем.

Второе: утверждают, что удаление дерева снижает переобучение. Это верно только для хвоста и только потому, что хвост и есть та часть, которую отсекает ранняя остановка. Для дерева из середины эффект обратный, качество падает и на обучении, и на валидации.

Третье: рассуждают про потерю интерпретируемости «важного дерева». Отдельное дерево в бустинге не самостоятельная модель и не объясняет зависимость в данных, оно предсказывает поправку к текущей сумме. Интерпретируют весь ансамбль целиком, через важность признаков или значения Шепли.