Входила ли в обязанности поддержка модели и анализ ее работы после сдачи
Что проверяют
Доводили ли вы модели до продакшена и отвечали ли за них после релиза, или работа заканчивалась на ноутбуке с хорошей метрикой на отложенной выборке. Следом почти всегда спрашивают: как вы узнали, что модель деградировала, и что сделали дальше.
Как отвечать
Отвечайте на своём проекте и своими цифрами. Удобный каркас:
- что за модель и где жила: задача, способ инференса (батч по расписанию или онлайн-сервис), кто потреблял прогнозы;
- что мониторили: входные данные (пропуски, схема, дрейф признаков через PSI или критерий Колмогорова-Смирнова), распределение предсказаний, качество по мере прихода разметки и бизнес-метрику, ради которой модель делали;
- инструменты: например, Evidently для отчётов по дрейфу, MLflow для реестра версий, Prometheus и Grafana для алертов, Airflow для переобучения;
- случай деградации: что сломалось, как заметили, что сделали. Переобучение на свежих данных, откат на прошлую версию, починка признака в пайплайне;
- правила: когда переобучать (по расписанию или по порогу), как выкатывали новую версию (shadow-режим, A/B-тест), кто принимал решение.
Для задач с отложенной разметкой, как отток или кредитный скоринг, проговорите, что настоящее качество видно только через недели, поэтому в первые дни смотрят на дрейф входов и предсказаний как на косвенный сигнал.
Если после сдачи модель уходила другой команде, скажите прямо и опишите, что передавали: документацию, контракт на входные данные, дашборд, пороги алертов. Если опыта нет вовсе, расскажите, как построили бы мониторинг для своей последней модели. Это честнее и убедительнее выдуманной истории.
Где спотыкаются
Называют результат вроде «точность выросла на 15%» без базы сравнения и способа замера. Первый же уточняющий вопрос это разваливает.
Мониторят только accuracy. На несбалансированных классах она почти не меняется, даже когда модель уже бесполезна: нужны precision, recall, PR AUC и метрики по сегментам.
Путают дрейф данных и дрейф концепции и лечат любую деградацию переобучением, хотя причиной часто оказывается сломанный признак в источнике.