Какие критерии остановки роста дерева существуют кроме ограничения глубины

Что проверяют

Понимаете ли вы, что дерево без ограничений растёт до чистых листьев и запоминает обучающую выборку, и знаете ли рычаги кроме max_depth. Следом спрашивают, чем предобрезка отличается от постобрезки и как подбирать эти параметры.

Как отвечать

Разделите ответ на раннюю остановку (pre-pruning) и обрезку выросшего дерева (post-pruning). В DecisionTreeClassifier из scikit-learn это такие параметры:

• min_samples_split: узел не делится, если в нём меньше N объектов. По умолчанию 2, то есть ограничения фактически нет;
• min_samples_leaf: разбиение отклоняется, если в любом потомке останется меньше N объектов. По умолчанию 1;
• min_weight_fraction_leaf: то же, но в долях суммарного веса, полезно при sample_weight;
• max_leaf_nodes: предел числа листьев, дерево тогда растёт best-first, раскрывая сначала самые выгодные узлы;
• min_impurity_decrease: разбиение делается, только если взвешенное снижение неоднородности не меньше порога;
• max_features: рост напрямую не останавливает, но ограничивает перебор признаков и работает как регуляризация;
• ccp_alpha: cost complexity pruning, уже постобрезка. Дерево растёт полностью, потом срезаются поддеревья, где выигрыш в качестве не окупает штраф alpha за каждый лист. Кандидатов в alpha даёт cost_complexity_pruning_path.

Значения подбирают кросс-валидацией через GridSearchCV или Optuna, а не на глаз. Для LightGBM, где дерево растёт по листьям, главные ограничители это num_leaves и min_child_samples.

Где спотыкаются

Называют early stopping по валидации критерием для одиночного дерева. В scikit-learn у одного дерева такого механизма нет, это инструмент бустинга: там перестают добавлять деревья, а не растить одно.

Считают min_impurity_decrease безопасным. Жадный порог может отсечь разбиение, за которым шло сильное: на XOR-подобной зависимости первый шаг почти не даёт прироста.

Путают min_samples_split и min_samples_leaf. Первый смотрит на родителя до разбиения, второй на каждого потомка после, и именно второй убирает листья из пары объектов.