Почему bagging работает с деревьями, как в случайном лесе?

Что проверяют

Умеете ли вы объяснить ансамбль через разложение ошибки на смещение и дисперсию, а не пересказать определение из учебника. Признак сильного ответа один: вы говорите не только про усреднение, но и про корреляцию между базовыми моделями.

Как отвечать

Глубокое дерево это модель с низким смещением и высокой дисперсией: сдвиньте обучающую выборку немного, и разбиения в узлах перестроятся, а предсказание заметно изменится. Усреднение независимых моделей уменьшает разброс, поэтому именно с такой базовой моделью выигрыш максимален.

Полезно назвать формулу. Если предсказания отдельных деревьев имеют дисперсию σ² и попарную корреляцию ρ, то у среднего из B деревьев дисперсия равна ρσ² + (1 - ρ)σ²/B. Отсюда два вывода. Рост числа деревьев убирает только некоррелированную часть, а предел задаёт корреляция. Значит главная работа это снизить её.

Бутстрэп, то есть выборка того же размера с возвращением, даёт первую часть декорреляции. Случайный лес добавляет вторую: в каждом узле перебор идёт не по всем признакам, а по случайному подмножеству. Смещение отдельного дерева при этом чуть растёт, но падение корреляции перекрывает потерю.

Практические следствия стоит проговорить: деревья в лесу не подрезают, они должны быть глубокими; объекты, не попавшие в бутстрэп, дают почти бесплатную оценку вне выборки; обучение тривиально параллелится. Контраст с бустингом усиливает ответ: там базовые модели слабые и борются со смещением, поэтому деревья мелкие и строятся последовательно.

Где спотыкаются

Говорят «бэггинг уменьшает переобучение» без уточнения, что уменьшается именно дисперсия. На устойчивой модели вроде линейной регрессии выигрыша почти нет, и уточняющий вопрос это сразу вскрывает.

Считают число деревьев параметром сложности и боятся его увеличивать. Качество выходит на плато, а сложность регулируется глубиной и размером случайного подмножества признаков.

Сводят лес к бэггингу и забывают про случайность признаков в каждом узле. Рядом живёт вторая ошибка: оценку вне выборки берут как замену честной валидации там, где объекты зависимы, например во временных рядах или при группировке по пользователю.