Что будет, если удалить дерево из random forest
Что проверяют
Понимаете ли вы, что бэггинг и бустинг устроены принципиально по-разному, и что деревья в случайном лесе независимы друг от друга. Вопрос почти всегда идёт в паре с таким же про бустинг: проверяют не факт, а умение объяснить, почему ответы противоположные.
Как отвечать
В случайном лесе каждое дерево обучается на своей бутстрэп-выборке и на случайном подмножестве признаков, и ни одно дерево ничего не знает про остальные. Итоговое предсказание это усреднение (регрессия) или голосование (классификация). Значит удаление одного дерева из нескольких сотен равносильно тому, что лес изначально обучили на единицу меньшего размера. Дообучать оставшиеся деревья не нужно, пересчитывать веса тоже: весов там нет, вклад у всех одинаковый.
Дальше стоит перевести в количественную плоскость. Дисперсия среднего независимых оценок падает примерно обратно пропорционально их числу, поэтому переход от пятисот деревьев к четырёмстам девяноста девяти метрику практически не двигает, а переход от десяти к девяти уже заметен. Корректная формулировка: эффект определяется тем, сколько деревьев осталось, а не тем, какое именно убрали.
Отдельный плюс к ответу: сказать, где разница всё же проявится. При голосовании чётное число деревьев даёт ничьи, которые приходится разрешать правилом, а предсказанные вероятности как доля голосов становятся грубее по шагу, и калибровка слегка едет.
Где спотыкаются
Говорят «модель сломается». Сломается бустинг, где деревья связаны последовательно. В лесе связи нет, и лес специально так построен, чтобы переживать потерю части деревьев.
Второе: говорят, что деревья «компенсируют ошибки друг друга», путая усреднение независимых оценок с последовательной коррекцией остатков. Это описание бустинга, и интервьюер сразу задаст вопрос номер два.
Третье: путают удаление дерева с удалением признака или наблюдения. Убрать признак значит поменять обучающую задачу для всех деревьев сразу, и вот это как раз меняет модель ощутимо.