Расскажите про опыт и проекты
Что проверяют
Умеете ли вы рассказать о работе через задачу и результат, а не через список технологий. Для данных дополнительно смотрят, доводили ли вы модель до прода.
Как отвечать
Рамка, проект подробно, два результата с числами.
> «Дата-сайентист, четыре года, ритейл и финтех. Сейчас в команде рекомендаций: от постановки и разметки до модели в проде и мониторинга. > > Основной проект: рекомендации товаров в корзине. Начали с популярного, потом коллаборативная фильтрация, сейчас бустинг на признаках поведения. Онлайн-метрику меряем A/B тестом, выручка с корзины выросла на четыре процента, и это результат теста, а не офлайн-оценки. > > Второй: модель оттока переобучалась. Нашла утечку целевой переменной, признак считался по данным после факта оттока. После чистки офлайн-метрика упала с 0.94 до 0.81, зато на живом трафике точность выросла».
Что уместно назвать: работа с признаками, валидация с учётом времени, борьба с дисбалансом, выбор метрики под задачу, воспроизводимость (MLflow, DVC), выкладка сервисом и мониторинг дрейфа данных.
Ключевое, что отличает сильный ответ: связь модели с продуктовой метрикой. Улучшение ROC-AUC само по себе никому не интересно, интересно, что изменилось для бизнеса.
Где спотыкаются
Перечисляют библиотеки вместо задач.
Называют только офлайн-метрики и не могут сказать, что изменилось в продукте.
Не упоминают утечку данных, хотя это самая частая причина завышенных результатов.
Останавливаются на ноутбуке: модель, не доехавшая до прода, это половина работы.