Почему точность случайного леса выше, чем у одного дерева
Что проверяют
Понимаете ли вы, за счёт чего работает ансамбль: не «много моделей лучше одной», а разложение ошибки на смещение и разброс. Заодно смотрят, отличаете ли вы бэггинг от бустинга и знаете ли, когда лес не помогает.
Как отвечать
Глубокое дерево это модель с маленьким смещением и большим разбросом: оно почти идеально описывает обучающую выборку, но стоит поменять несколько объектов, и структура поедет целиком, потому что другое разбиение в корне переписывает всё поддерево. Почти вся ошибка сидит в разбросе.
Лес усредняет много таких деревьев: смещение остаётся примерно прежним, а разброс падает. Нюанс, который стоит проговорить: падает он не как 1/B по числу деревьев, а упирается в корреляцию между ними. Для B деревьев с попарной корреляцией ρ дисперсия ведёт себя как ρ·σ² + (1 - ρ)·σ²/B: сколько деревьев ни добавляй, слагаемое с ρ остаётся.
Отсюда два источника случайности, и оба нужны ровно для уменьшения корреляции:
- бутстрэп: каждое дерево учится на своей подвыборке с возвращением;
- случайное подмножество признаков в каждом разбиении (
max_features): это и отличает лес от обычного бэггинга, иначе один сильный признак встанет в корень всех деревьев и они будут почти одинаковы.
Полезно добавить, что качество леса оценивается по out-of-bag объектам, без отдельной валидационной выборки.
Где спотыкаются
Говорят, что лес не переобучается. От добавления деревьев качество действительно не ухудшается, ошибка выходит на плато, но это другое утверждение: лес из глубоких деревьев прекрасно запоминает шум в разметке. Число деревьев тут не регуляризатор, а бюджет времени.
Путают усреднение с бустингом. В лесе деревья независимы, строятся параллельно и голосуют, борьба идёт с разбросом. В градиентном бустинге деревья неглубокие, каждое следующее учится на ошибках предыдущих, и снижается уже смещение, поэтому он чувствительнее к шуму и к числу итераций.
Не могут назвать, где лес проигрывает. Линейную зависимость он приближает ступеньками, на разреженных текстовых признаках линейная модель обычно лучше, а в регрессии лес не экстраполирует: за пределами диапазона обучения предсказание упирается в среднее по листу.