Какие методы моделирования используются для бинарной классификации?

Что проверяют

Знаете ли вы ландшафт моделей и умеете ли выбирать под данные, а не перечисляете оглавление учебника. Следом спрашивают про метрики при дисбалансе классов и про выбор порога.

Как отвечать

Пройдитесь по семействам с назначением:

• логистическая регрессия: базовая линия. Быстрая, интерпретируется через коэффициенты, даёт неплохо откалиброванные вероятности. Нелинейность добавляют признаками: взаимодействия, биннинг, сплайны. Нужны масштабирование и регуляризация (параметр C в LogisticRegression);
• градиентный бустинг над деревьями: CatBoost, LightGBM, XGBoost. На табличных данных обычно сильнейший вариант, умеет работать с пропусками, CatBoost сам обрабатывает категориальные признаки;
• случайный лес: устойчив, почти не требует настройки, хорош как второй baseline, но на табличных задачах чаще уступает бустингу;
• одиночное дерево, kNN, наивный Байес: для интерпретации, маленьких выборок или текстов;
• SVM: неплох на небольших выборках высокой размерности, плохо масштабируется по числу объектов, а вероятности даёт только через дополнительную калибровку (probability=True);
• нейросети: текст, изображения, последовательности, чаще как дообучение предобученной модели.

Затем метрики. Accuracy при 2% положительного класса бесполезна: модель «всегда ноль» получит 98%. Смотрят ROC-AUC, PR-AUC, log loss, а для принятия решения precision и recall на выбранном пороге. Порог 0,5, который неявно стоит в predict, не закон: его подбирают на валидации по стоимости ошибок. Если вероятности нужны как вероятности, проверяют калибровку (CalibratedClassifierCV, калибровочная кривая).

Где спотыкаются

Не упоминают бустинг. Для табличной задачи это первое, что пробуют после логистической регрессии, и его отсутствие в ответе сразу заметно.

На дисбаланс отвечают только словом SMOTE. Чаще хватает class_weight="balanced", сдвига порога и правильной метрики, а синтетические объекты иногда портят калибровку.

Путают ROC-AUC с качеством на рабочем пороге. При сильном дисбалансе высокий ROC-AUC уживается с низкой precision, и PR-AUC показывает картину честнее.