Какие методы можно использовать для улучшения модели

Что проверяют

Есть ли у вас система, а не набор приёмов из туториала. Сильный кандидат сначала уточняет: какая метрика, какая бизнес-цель, где именно модель ошибается сейчас. Слабый сразу предлагает попробовать нейросеть. Следом обычно спрашивают, что делать, если на валидации всё хорошо, а на проде плохо, или как быть, когда данных мало.

Как отвечать

Начните с диагноза, а не с перебора алгоритмов:

• что болит: посмотрите кривые обучения. Плохо и на трейне, и на валидации это недообучение, лечится усложнением модели и признаками. Хорошо на трейне и плохо на валидации это переобучение, лечится регуляризацией, данными и упрощением;
• честная валидация: стратифицированный k-fold, для временных рядов разбиение по времени, группировка по пользователю или клиенту. Утечка таргета даёт самый красивый прирост на валидации и самое болезненное падение в проде;
• данные и разбор ошибок: дубликаты, ошибки в разметке, срезы, на которых модель систематически промахивается. Обычно тут лежит больше прироста, чем в гиперпараметрах;
• признаки: агрегаты, лаги, кодирование категорий, отбор по важности с проверкой на отложенной выборке;
• модель: для табличных данных градиентный бустинг (CatBoost, LightGBM, XGBoost) остаётся сильнейшим выбором, для текста и изображений дообучение предобученной модели, в том числе через LoRA;
• гиперпараметры: байесовский поиск в Optuna вместо полного перебора, ранняя остановка по валидации;
• порог и калибровка: порог классификации подбирается под бизнес-метрику, вероятности калибруются изотонической регрессией или методом Платта;
• дисбаланс: PR-AUC вместо accuracy, веса классов. Про SMOTE честно скажите, что он часто портит калибровку.

Где спотыкаются

Начинают с перебора моделей и подбора гиперпараметров, когда в данных лежит утечка или битая разметка.

Меряют качество по accuracy на выборке, где положительный класс занимает один процент. Модель, отвечающая «нет» всегда, даст 99 процентов и нулевую пользу.

Многократно проверяются на тестовой выборке и подгоняют решения под неё. К концу такой работы тест перестаёт быть независимым, и оценка качества становится выдумкой.