Что может пойти не так в модели?
Что проверяют
Вопрос открытый специально: смотрят, мыслите ли вы жизненным циклом модели или только этапом обучения. Сильный ответ проходит по всей цепочке от данных до поведения в проде, слабый останавливается на переобучении.
Как отвечать
Разложите на четыре группы и по каждой дайте пример.
Данные. Утечка целевой переменной, когда в признаки попадает то, что известно только после события, или когда масштабирование и кодирование посчитаны до разбиения. Неверный сплит: случайный на временном ряде, один пользователь по обе стороны, дубликаты между обучением и тестом. Смещение выборки: скоринг учится только на одобренных заявках и не видит отказанных.
Метрика. Доля верных ответов на редком классе выглядит прекрасно даже у константного предсказания. Порог оставлен посередине, хотя цена пропуска и ложной тревоги разная. Офлайн-метрика выросла, а решение, ради которого модель строилась, не изменилось.
Обучение. Нет простого базового решения для сравнения, гиперпараметры подобраны по тесту, одна и та же выборка использована для валидации десятки раз.
Эксплуатация. Признаки в проде считает другой код, чем при обучении. Данные дрейфуют, источник меняет формат, пропуск молча превращается в ноль. Модель влияет на данные, на которых потом переобучается.
Где спотыкаются
Сводят весь ответ к переобучению и регуляризации. Переобучение хотя бы видно по разрыву метрик, а утечка даёт отличные цифры на валидации и провал в проде, и ищут этим вопросом как раз её.
Не отделяют качество модели от эффекта. На вопрос, стало ли лучше, отвечают приростом метрики и не могут сказать, как модель встроена в решение, какой выбран порог и сколько стоит ошибка каждого типа.
Молчат про то, что происходит после выката. Модель без мониторинга распределений и без плана переобучения деградирует незаметно, и первым признаком становится жалоба из бизнеса, а не график. Сюда же уверенные проценты улучшения без описания замера: следующий вопрос будет про размер выборки и значимость.