Какие библиотеки для бустинга использовали и почему

Что проверяют

Работали ли вы с градиентным бустингом руками и понимаете ли, чем библиотеки отличаются по существу, а не по рекламе. Следом обычно спрашивают, какие гиперпараметры вы настраивали и как боролись с переобучением.

Как отвечать

Отвечайте от своих проектов: какая задача, какие данные, почему выбрали именно эту библиотеку и что получилось. Цифры приводите свои и с метрикой: не «точность выросла», а «ROC AUC на отложенной выборке с 0,78 до 0,82». Технический каркас сравнения:

• XGBoost: рост дерева по уровням, сильная регуляризация, зрелая экосистема. С версии 2.0 по умолчанию гистограммный алгоритм tree_method="hist", категориальные признаки поддерживаются через enable_categorical=True;
• LightGBM: рост дерева по листьям (leaf-wise), гистограммы, GOSS и объединение разреженных признаков. Обычно самый быстрый на больших табличных данных, но на маленьких легко переобучается, поэтому ограничивают num_leaves и min_child_samples;
• CatBoost: симметричные деревья и ordered boosting, из коробки кодирует категориальные признаки упорядоченными target-статистиками без утечки. Хорош на умолчаниях и на данных с большим числом категорий, инференс быстрый;
• HistGradientBoostingClassifier из scikit-learn: когда нужен бустинг без лишних зависимостей.

Общее у всех трёх: работа с пропусками без импутации, обучение на GPU, ранняя остановка по валидации. Настраивают в первую очередь learning_rate вместе с числом деревьев через early stopping, глубину или число листьев, subsample и долю признаков, L2-регуляризацию.

Если опыт только с одной библиотекой, скажите об этом прямо и объясните, по каким признакам выбрали бы другую.

Где спотыкаются

Говорят, что LightGBM быстрее, потому что использует градиентный бустинг. Бустинг у всех трёх одинаковый, скорость даёт гистограммный подход и рост по листьям.

Выбирают XGBoost «ради важности признаков». Встроенная важность есть у всех и бывает смещённой, для интерпретации берут SHAP.

Приводят круглые приросты вроде «плюс 15%» без метрики, базовой модели и схемы валидации. Такие цифры интервьюер разбирает первым же вопросом.