Какие задачи и подходы использовал старший разработчик в проекте
Что проверяют
Вопрос к кандидату на позицию старшего: интервьюер хочет услышать, что ваша работа шире обучения моделей. Сеньор отвечает за постановку задачи, выбор метрики, доведение решения до прода и за то, чтобы им было не страшно пользоваться. Следом обычно спрашивают: «Какое решение в этом проекте приняли лично вы и что бы сделали иначе?»
Как отвечать
Возьмите один проект и пройдите по этапам, на каждом называя своё решение и причину:
- постановка: как бизнес-вопрос превратился в ML-задачу, какую метрику выбрали, какой был бейзлайн (правило или простая модель), с чем сравнивали;
- данные: пайплайны в Airflow или Spark, проверки качества данных, защита от утечек, валидация по времени, если данные временные;
- моделирование: бустинг на CatBoost или LightGBM для табличных данных, подбор гиперпараметров через Optuna, трекинг экспериментов в MLflow, почему не взяли модель сложнее;
- внедрение: батч или онлайн-инференс, сервис на FastAPI или готовый сервер моделей, реестр моделей, воспроизводимость обучения;
- мониторинг: дрейф признаков (PSI, Evidently), качество на отложенной разметке, а технические метрики сервиса в Prometheus и Grafana;
- эффект: A/B-тест или другой способ отделить влияние модели от сезонности;
- команда: код-ревью, общие шаблоны проектов, менторство младших, согласование с аналитиками и бэкендом.
Цифры приводите свои и объясняйте, как их получили: «в A/B-тесте удержание в тестовой группе выросло на 1,5 п.п., эффект статистически значим». Если вы только идёте на сеньорскую позицию, честно скажите, какие этапы вели сами, а какие видели со стороны, и что бы вы в них сделали.
Где спотыкаются
Перечисляют алгоритмы: Random Forest, бустинг, Grid Search. Это уровень мидла, от сеньора ждут решений и понимания их цены.
Приписывают модели «снижение оттока на 15%» без контрольной группы. Такой результат нельзя отличить от сезонного колебания.
Считают, что метрики в Prometheus и есть мониторинг модели. Время ответа и доля ошибок сервиса не покажут, что предсказания испортились из-за дрейфа данных.