Как происходит деплой модели

Что проверяют

Отличаете ли вы обучение модели от её эксплуатации. Ждут не «сохранили pickle и подняли Flask», а выбор режима инференса под задачу, версионирование артефактов и мониторинг качества после выката.

Как отвечать

• Сначала выбрать режим: батч-скоринг по расписанию с записью предсказаний в витрину, онлайн-сервис (REST или gRPC с целевой задержкой), потоковая обработка, инференс на устройстве. От этого зависит вся остальная архитектура, и батч нередко закрывает задачу дешевле и надёжнее.
• Артефакт с версией хранится в реестре (например, MLflow Model Registry) вместе с метриками, ссылкой на данные и код обучения. pickle жёстко привязан к версиям библиотек и небезопасен при загрузке чужого файла, для переноса лучше ONNX или родной формат фреймворка, а окружение фиксируется образом.
• Сервинг: собственный контейнер с FastAPI либо готовые серверы (Triton, TorchServe, KServe, BentoML) с батчингом запросов и метриками из коробки.
• Главный риск это расхождение обучения и продакшена по признакам. Фичи должны считаться тем же кодом, отсюда общий модуль препроцессинга или feature store.
• Выкат постепенный: сначала теневой режим (трафик идёт, ответы не показываются), затем канареечный выпуск или A/B, обязательно с быстрым откатом на предыдущую версию из реестра.
• Мониторинг двух видов: технический (задержка, ошибки, ресурсы) и продуктовый (дрейф входных распределений, дрейф предсказаний, метрика качества по мере поступления разметки, которая обычно приходит с задержкой в дни).

Где спотыкаются

Считают деплой финалом. Без отслеживания дрейфа модель деградирует тихо: сервис отвечает 200, а качество предсказаний падает месяцами.

Проверяют модель на случайном сплите вместо среза по времени, поэтому оценка на проде оказывается заметно хуже офлайновой.

Пишут расчёт признаков в сервисе вторым кодом. Любое расхождение с обучающим пайплайном даёт ошибки, которые не воспроизводятся в ноутбуке.

Не версионируют данные и препроцессинг, только веса. Воспроизвести старую модель и понять причину регрессии потом невозможно.