Что происходит с деревом при очень большом или очень маленьком минимальном количестве объектов в листе
Что проверяют
Понимаете ли вы компромисс смещения и разброса на конкретной ручке гиперпараметров, и различаете ли ограничения, которые сдерживают рост дерева. Хороший ответ описывает оба конца шкалы, а не только переобучение.
Как отвечать
- Минимальный размер листа это ограничение снизу на число объектов в листе: разбиение не выполняется, если хотя бы один из потомков окажется меньше порога. Это не то же самое, что минимальное число объектов для разбиения узла, которое смотрит только на родителя, и не ограничение глубины.
- Маленькое значение, а единица обычно стоит по умолчанию: дерево растёт до почти чистых листьев, запоминает шум и выбросы, ошибка на обучении близка к нулю, на отложенной выборке заметно хуже. Предсказание в листе с одним объектом это просто сам объект, дисперсия огромная, модель неустойчива к перестановке данных.
- Большое значение: дерево мелкое, разбиения ранние и грубые, растёт смещение, редкие, но реальные группы объектов растворяются в фоне. В пределе остаётся один лист с константой.
- Подбирают кросс-валидацией по сетке вместе с глубиной и критерием разбиения, глядя на разрыв между обучением и валидацией, а не на одну метрику.
- Контекст модели важен: в случайном лесе глубокие переобученные деревья это норма, разброс гасится усреднением по ансамблю. В градиентном бустинге каждое дерево намеренно слабое, и лист там ограничивают жёстче, иногда не числом объектов, а суммой их весов.
Где спотыкаются
Отвечают только про переобучение и не называют вторую сторону. Спрашивают именно про обе крайности, и оценивается умение показать компромисс, а не заученная фраза про подстройку под шум.
Второе: смешивают ограничение на лист с ограничением на разбиение узла. Разница видна на практике: условие по листу срабатывает и там, где объектов у родителя формально хватает, потому что проверяются оба потомка, и поэтому оно жёстче обрезает хвосты распределения.
Третье: подбирают порог по метрике на обучающей выборке или по одной отложенной. На небольших данных одна разбивка даёт случайный оптимум. Отдельно про дисбаланс классов: крупный лист просто стирает редкий класс, и смотреть надо на полноту, а не на долю верных ответов.