Какие жизненные этапы разработки модели в проекте машинного обучения существуют
Что проверяют
Видели ли вы проект целиком, а не только этап с model.fit(). Вопрос поведенческий, поэтому за перечнем этапов почти наверняка последует «расскажите, как это было у вас» и «какой этап занял больше всего времени».
Как отвечать
Дайте каркас и сразу привяжите его к своему проекту. Опорная схема близка к CRISP-DM, но с эксплуатацией:
- постановка задачи: какую бизнес-метрику двигаем, как она переводится в ML-метрику, какой бейзлайн без ML. Иногда задачу решает правило из трёх условий;
- данные: источники, разметка, проверка качества, договорённости с владельцами данных;
- разбиение: временные данные делятся только по времени, пользователи группами, иначе утечка;
- признаки и эксперименты: трекинг в MLflow или аналоге, версии данных в DVC, фиксированные сиды;
- оценка: офлайн-метрики на отложенной выборке, разбор ошибок по сегментам, затем A/B-тест, потому что офлайн-прирост не гарантирует онлайн;
- внедрение: батч-скоринг по расписанию или онлайн-сервис, требования к задержке, план отката;
- мониторинг и переобучение: дрейф признаков и целевой переменной, PSI, деградация метрик, триггеры переобучения.
Подчеркните, что цикл итеративный: после оценки вы регулярно возвращаетесь к данным или к постановке.
Затем расскажите один свой проект по этим этапам: цель, главная сложность, результат. Нужны ваши реальные примеры и цифры: насколько выросла метрика, сколько заняла разметка, как быстро модель деградировала. Если в продакшен модель не выводили, скажите прямо: этапы от постановки до офлайн-оценки пройдены на учебном или соревновательном проекте, а внедрение и мониторинг вы опишете так, как устроили бы их сами.
Где спотыкаются
Заканчивают рассказ на обучении модели. Для интервьюера это главный признак, что кандидат не видел продакшена.
Подбирают гиперпараметры по тестовой выборке и приводят метрику на ней как итог. Тест, на который смотрели при настройке, уже не независимая оценка.
Пересказывают учебник без единого примера. На поведенческий вопрос полный, но безличный список этапов засчитывается слабо.