Что такое bias и variance, и что уменьшается в случайном лесе?
Что проверяют
Вторая половина вопроса и есть проверка. Разложение ошибки помнят все, а вот то, что ансамбль лечит ровно одну её составляющую, отделяет понимание от пересказа учебника.
Как отвечать
Ожидаемая ошибка на новых данных раскладывается на три части: смещение, дисперсию и неустранимый шум.
Смещение это систематический промах: выбранный класс функций слишком беден для реальной зависимости. Линейная модель на явно нелинейных данных ошибётся одинаково на любой обучающей выборке, это недообучение.
Дисперсия это чувствительность к конкретной выборке. Дерево, выращенное до листьев с одним объектом, на другой выборке получится совсем другим и предскажет другое. Средняя ошибка велика не потому, что модель не может, а потому что она каждый раз иная.
Ответ на вторую часть вопроса: случайный лес уменьшает дисперсию. Смещение он оставляет примерно на уровне одного глубокого дерева и из-за случайного подмножества признаков в разбиении даже слегка увеличивает. Выигрыш в том, что усреднение слабо связанных деревьев гасит разброс, и суммарная ошибка падает.
Хорошее дополнение: смещение лечит другой инструмент, бустинг, где каждая следующая модель доучивает остатки предыдущих. Поэтому бустинг чувствителен к числу итераций и переобучается, а лесу лишние деревья не вредят.
Где спотыкаются
Отвечают, что лес уменьшает и смещение, и дисперсию. Это ровно та ошибка, ради которой вопрос и задают: усреднение не сдвигает общее среднее предсказаний, значит и систематический промах остаётся на месте.
Путают дисперсию модели с разбросом данных. Речь идёт о разбросе предсказаний при смене обучающей выборки, а не о дисперсии признаков или целевой переменной.
Борются с переобучением леса, добавляя деревья. Кривая качества просто выходит на плато, лишние деревья не вредят и не спасают; за компромисс отвечают глубина, минимальный размер листа и число признаков в разбиении.