Было ли взаимодействие с заказчиком по проекту
Что проверяют
Умеете ли вы переводить бизнес-задачу в постановку для модели и обратно и держать ожидания заказчика под контролем. Следом просят рассказать о конфликте: заказчик хотел одного, а данные позволяли другое.
Как отвечать
Нужна история из вашего проекта, со своими примерами и цифрами. Каркас удобно строить по этапам, где заказчик реально участвует:
- постановка: какое решение бизнес примет по выходу модели и сколько стоит ошибка каждого типа. От этого зависит, что оптимизировать: precision, recall, порог отсечения или деньги;
- бизнес-метрика против ML-метрики: ROC AUC заказчику ни о чём не говорит. Переводите на его язык: сколько заявок уйдёт на ручную проверку, сколько мошенников пропустим при таком пороге;
- данные: кто владелец источника, есть ли разметка, нет ли утечки таргета. На встречах часто выясняется, что нужного признака в момент предсказания ещё нет;
- ожидания: бейзлайн (правила или текущая модель) до начала работ и договорённость, как проверяем результат: отложенная выборка, A/B-тест, пилот на части трафика;
- сдача: объяснение для бизнеса (SHAP, важность признаков), документ с ограничениями модели, мониторинг дрейфа после запуска.
Для дата-инженера акценты другие: SLA на свежесть витрины, контракт на схему данных, кто и как сообщает о поломке источника.
Результат описывайте измеримо и честно. Формулировка вида «на отложенной выборке recall вырос с такого-то значения до такого-то при той же доле ручной проверки» сильнее, чем «точность выросла на 15%». Если прямого контакта с заказчиком не было, так и скажите и расскажите, как требования доходили до вас через продакта или аналитика и что вы уточняли сами.
Где спотыкаются
Называют крупного заказчика и выкладывают внутренние детали проекта. Это настораживает: так же вы будете рассказывать и о новом работодателе.
Хвастаются точностью. «Выросла на 15%» без базы и названия метрики ничего не значит, а accuracy на несбалансированных классах вообще вводит в заблуждение.
Показывают заказчика помехой. Сильнее звучит история, где вы вовремя сказали «нет» или предложили решение проще, например правила вместо модели, и объяснили почему.