У кого эффект будет более негативный при удалении первого дерева: у модели бустинга или бэггинга

Что проверяют

Понимаете ли вы, что бэггинг строит деревья независимо, а бустинг последовательно, и умеете ли вывести из этого следствие. Вопрос именно про первое дерево, а не про любое: в одном ансамбле порядок не значит ничего, в другом значит всё.

Как отвечать

Сильнее пострадает бустинг. В бэггинге каждое дерево учится на своей бутстрэп-выборке независимо от соседей, предсказание это усреднение или голосование, и выпадение одного дерева из N меняет ответ примерно на 1/N. Деревья взаимозаменяемы, понятия «первое» для них просто нет.

В бустинге ансамбль это сумма: базовое приближение плюс вклады деревьев, каждое из которых училось на остатках всех предыдущих. Первое дерево ловит самую грубую часть зависимости, дальше идут всё более мелкие поправки. Убрав его, вы оставляете поправки, посчитанные для другого, уже несуществующего приближения, и получаете систематический сдвиг предсказаний, а не небольшой шум.

Полезное уточнение про темп обучения: при малом шаге вклад одного дерева невелик по модулю, поэтому катастрофы не будет, но смещение останется и не усреднится, сколько бы деревьев ни стояло следом.

Отсюда и практика: у бустинга обычно можно обрезать хвост, ограничив число используемых деревьев, а выкинуть дерево из начала или середины нельзя, ансамбль после этого некорректен.

Где спотыкаются

Отвечают «бустинг», но объясняют через важность признаков или веса деревьев, а не через зависимость обучения. Следом идёт уточняющий вопрос про AdaBoost, где веса есть и у объектов, и у моделей, и заготовка рассыпается.

Вторая ошибка: считают, что в бэггинге деревья тоже связаны, ведь подвыборки пересекаются. Пересекаются данные, но обучение каждого дерева не зависит от результатов соседей, и именно это делает их взаимозаменяемыми.

Третья: забывают про базовое приближение. В градиентном бустинге стартовая константа, среднее или логарифм шансов, деревом не является, и удаление первого дерева на неё не влияет. Кандидаты часто называют этой константой само первое дерево и путаются дальше по всему ответу.