Как отследить ошибки в модели?

Что проверяют

Различаете ли вы три вещи: ошибки модели на отложенных данных, деградацию в продакшене и баги в коде вокруг модели. Интервьюеру важно, умеете ли вы найти, где именно модель ошибается, а не только посчитать общий скор. Следом обычно спрашивают, что делать, если истинные метки приходят через месяц.

Как отвечать

Офлайн, до выкладки:

• матрица ошибок и срезы: общий F1 скрывает провалы на сегментах. Считайте метрики по регионам, устройствам, новым и старым пользователям, редким классам;
• худшие примеры: отсортируйте ошибки по уверенности модели и просмотрите глазами. Так находят шум в разметке, дубли и утечки;
• кривые обучения: большой разрыв между train и validation говорит о переобучении, одинаково плохие значения о недообучении. Для регрессии смотрят остатки против предсказаний;
• калибровка: если вероятности используются как вероятности, проверьте reliability diagram и Brier score;
• интерпретация: SHAP показывает, на что опирается модель. Подозрительно сильный признак часто оказывается утечкой.

В продакшене:

• дрейф данных: распределения признаков сравнивают с обучающими через PSI или тест Колмогорова-Смирнова, готовые отчёты даёт Evidently;
• дрейф предсказаний: если доля положительного класса резко сместилась, что-то сломалось на входе;
• задержка меток: пока разметки нет, следите за прокси-метриками и регулярно размечайте выборку вручную;
• training-serving skew: признак в онлайне считается иначе, чем при обучении. Ловят логированием входов и сверкой с офлайн-расчётом;
• технические метрики: латентность, ошибки, доля пропусков во входе в Prometheus и Grafana. Качество они не меряют, но первыми показывают поломку пайплайна.

Где спотыкаются

Смотрят только на одну агрегированную метрику. Модель может стабильно ошибаться на важном сегменте при хорошем среднем.

Путают инструменты: Prometheus не скажет, что модель стала хуже различать классы, он видит сервис, а не качество.

Трактуют SHAP как причинность. Он объясняет модель, а не мир, и из «признак важен» не следует «изменение признака изменит результат».