В чем идея случайного леса и почему он работает
Что проверяют
Понимаете ли вы, почему ансамбль сильнее одного дерева, и можете ли объяснить это через смещение и разброс, а не пересказом алгоритма.
Как отвечать
Случайный лес это набор глубоких решающих деревьев, обученных на разных случайных подвыборках, ответы которых усредняются (для регрессии) или собираются голосованием (для классификации).
Источников случайности два, и это ключ к ответу:
- бэггинг: каждое дерево учится на выборке с возвращением того же размера, поэтому видит свой набор объектов;
- случайное подмножество признаков в каждом разбиении: без этого все деревья цеплялись бы за один и тот же сильный признак и получались бы похожими.
Почему это работает. Одиночное глубокое дерево имеет низкое смещение и очень высокий разброс: оно почти без ошибок описывает обучающие данные, но сильно меняется от небольшого изменения выборки. Усреднение множества таких моделей оставляет смещение прежним и снижает разброс, тем сильнее, чем меньше деревья похожи друг на друга. Отсюда и оба источника случайности: они нужны, чтобы деревья ошибались по-разному.
Полезно добавить практические свойства: почти не требует масштабирования признаков, работает с нелинейностями и взаимодействиями, устойчив к выбросам, даёт оценку качества без отдельной проверочной выборки (ошибка на объектах вне подвыборки), считает важность признаков и легко распараллеливается.
И ограничения: модель тяжёлая и медленная на предсказании, хуже экстраполирует за пределы обучающих значений, на табличных задачах градиентный бустинг обычно точнее, а встроенная важность признаков смещена в сторону признаков с большим числом уникальных значений, поэтому надёжнее пермутационная важность.
Где спотыкаются
Говорят «лес не переобучается». Переобучение возможно, просто оно слабо растёт с числом деревьев: больше деревьев почти всегда безопасно.
Путают бэггинг с бустингом: в лесу деревья независимы, в бустинге каждое следующее исправляет ошибки предыдущих.
Ограничивают глубину деревьев по привычке. В лесу деревьям как раз полезно быть глубокими, разброс гасится усреднением.