Как выстраивать работу начиная от формулировки задач
Что проверяют
Умеете ли вы превратить расплывчатое «сделайте нам ML» в задачу с понятной целью, метрикой и критерием успеха. Интервьюер хочет услышать процесс, а не список моделей. Следом обычно спрашивают: «Был ли случай, когда вы отговорили заказчика от ML?»
Как отвечать
Опирайтесь на свой проект и проведите его по шагам:
- бизнес-проблема: какое решение будет приниматься по результату модели и кем. «Снизить отток» превращается в «каждую неделю отдавать удержанию список клиентов с высоким риском»;
- постановка ML-задачи: классификация, регрессия, ранжирование или вовсе правило на SQL. Как определяется таргет, на какой горизонт прогноз, какие признаки доступны на момент предсказания, чтобы не получить утечку;
- метрики: бизнес-метрика (выручка, доля удержанных), офлайн-метрика модели (ROC-AUC, PR-AUC, MAE) и связь между ними. Порог успеха согласуется до старта, а не подгоняется под результат;
- бейзлайн: простое правило или логистическая регрессия. Без него нельзя сказать, окупилась ли сложная модель;
- данные: где лежат, сколько истории, какое качество разметки, кто владелец;
- проверка в проде: A/B-тест или отложенный период, мониторинг дрейфа, план переобучения.
Можно назвать CRISP-DM как общий каркас, но интервьюеру важнее, как вы им пользовались. Подставьте свои цифры: что было метрикой, какой бейзлайн, какой прирост и за какой срок. Не выдумывайте проценты, уточняющие вопросы их быстро раскрывают.
Если опыта постановки задач с бизнесом не было, скажите прямо и покажите тот же путь на учебном или пет-проекте: как вы выбирали таргет, почему такая метрика, с чем сравнивали. Честная структура ценится выше придуманной истории.
Где спотыкаются
Сразу переходят к модели: «взял градиентный бустинг». Интервьюер слышит, что задачу за вас сформулировал кто-то другой.
Не разводят метрику модели и бизнес-метрику. Прирост ROC-AUC на сотые может ничего не значить для продукта.
Рассказывают идеальный проект без неудач. Сильнее звучит история, где гипотеза не подтвердилась, и вы объясняете, как это поняли и что поменяли.