С какими проектами работал

Что проверяют

Видите ли вы задачу целиком: откуда данные, какая метрика, как проверяли и доехало ли до прода. Вопрос кажется разминочным, но именно по нему отделяют тех, кто решал задачу, от тех, кто повторил ноутбук с курса.

Как отвечать

Держите на каждый проект одну и ту же структуру:

• задача бизнеса и её перевод в постановку. Отток это бинарная классификация, но горизонт предсказания и само определение оттока задаёте вы, и это уже решение;
• данные. Источники, объём, как размечали, насколько редок положительный класс, что пришлось чистить;
• точка отсчёта. Простое правило или логистическая регрессия: без неё непонятно, что дала модель;
• метрика. Почему не доля верных ответов, а ROC AUC или площадь под кривой точности и полноты при редком классе, и как эта метрика связана с тем, что считает бизнес;
• валидация. Разбиение по времени для временных рядов, по пользователю там, где один человек даёт много строк;
• прод. Где считаются признаки в момент запроса, как выкатывалась модель, как ловили дрейф и переобучали.

Если модель до прода не доехала, скажите прямо и объясните причину. Это нормальная часть работы, а попытка обойти вопрос видна сразу.

Где спотыкаются

Рассказывают про модель и молчат про данные. Основное время уходит на сбор и чистку, и уточняющие вопросы будут именно про них.

Второе: называют прирост метрики, не назвав точку отсчёта. Число без базы не значит ничего, а если базы не было вовсе, непонятно и то, нужна ли была модель.

Третье: не проверяют утечку целевой переменной. Признак, посчитанный по всей выборке до разбиения, или признак, доступный только после наступления события, дают прекрасные числа на валидации и провал на живых данных.