Какие задачи были интересные или сложные в вашем опыте?

Что проверяют

Интервьюер смотрит, какого масштаба задачи вы решали и понимаете ли, что работа в ML это не только подбор модели. Ему важно услышать про данные, валидацию и то, как результат дошёл до бизнеса. Типичное уточнение: «Как вы поняли, что модель действительно помогла?»

Как отвечать

Возьмите одну историю и расскажите её по порядку: бизнес-задача, как вы перевели её в ML-постановку и метрику, что оказалось трудным, какие решения приняли лично вы, итог и вывод. Сложность в ML обычно живёт в таких местах:

• утечка данных: признак, который «знает будущее», или случайное разбиение для временного ряда. Расскажите, как заметили подозрительно хорошую метрику и перешли на валидацию по времени (TimeSeriesSplit или разбиение по дате);
• выбор метрики: для прогноза спроса это MAE, WAPE или квантильная ошибка, а не «точность»; для несбалансированной классификации PR-AUC вместо accuracy;
• расхождение офлайна и онлайна: модель выиграла на исторических данных, но в A/B-тесте эффекта не дала, и вы разбирались почему;
• грязные данные: пропуски, дубли, сдвиг распределения после изменения логики сбора;
• продакшн: ограничение по задержке инференса, переобучение по расписанию, мониторинг дрейфа.

Цифры приводите свои и с базой сравнения: «WAPE снизилась с 34% до 27% относительно наивного прогноза по прошлой неделе». Эффект в деньгах называйте, только если он измерен экспериментом или вы знаете, кто и как его посчитал. Если опыт пока учебный, возьмите соревнование или свой проект, честно скажите, что это не прод, и покажите тот же ход рассуждений.

Где спотыкаются

Называют «точность 85%» для регрессии. У прогноза спроса нет точности в процентах без пояснения, какая метрика имеется в виду, и опытный интервьюер это сразу заметит.

Приписывают модели рост продаж и снижение издержек без контрольной группы. Такой эффект невозможно отделить от сезонности и акций.

Рассказывают только про перебор алгоритмов и гиперпараметров. Самое интересное обычно было в данных и постановке, а о них молчат.