В чем преимущества логистической регрессии и градиентного бустинга и в каких задачах их использовать?
Что проверяют
Умеете ли вы выбирать модель по свойствам задачи, а не по моде. Ответ «бустинг всегда лучше» считается слабым.
Как отвечать
Логистическая регрессия это линейная модель, оценивающая вероятность класса. Сильные стороны:
- интерпретируемость: коэффициенты показывают направление и силу влияния признака, что критично там, где решение нужно объяснить человеку или регулятору (кредитный скоринг, медицина);
- хорошо откалиброванные вероятности из коробки, а это важно, когда порог принятия решения зависит от цены ошибки;
- устойчивость на малых данных и при большом числе разреженных признаков, например на текстах, представленных мешком слов;
- скорость обучения и предсказания, простое обновление модели, минимум ресурсов в проде.
Ограничения: нужна ручная работа с признаками (нелинейности, взаимодействия, кодирование категорий), чувствительна к масштабу и мультиколлинеарности.
Градиентный бустинг это ансамбль деревьев, где каждое следующее исправляет ошибки предыдущих. Сильные стороны:
- лучшее качество на табличных данных, особенно при нелинейностях и взаимодействиях признаков;
- не требует масштабирования, современные реализации сами обрабатывают пропуски и категории (CatBoost, LightGBM, XGBoost);
- гибкая настройка под метрику и работа с дисбалансом.
Ограничения: склонен к переобучению без ранней остановки, тяжелее в проде, вероятности часто требуют калибровки, объяснение только через SHAP и подобные методы.
Практический ориентир: берите логистическую регрессию как базовое решение и там, где нужна прозрачность; берите бустинг, когда важна точность на табличных данных и есть возможность его сопровождать.
Где спотыкаются
Сравнивают модели без базового решения: без простой модели непонятно, что вообще даёт сложная.
Забывают про калибровку вероятностей у бустинга, когда решение принимается по порогу.
Не упоминают, что на изображениях, звуке и длинных текстах обе модели проигрывают нейросетям.