Просто дали данные и сказали сделать
Что проверяют
Что вы делаете, когда задачи как таковой нет: выгрузка есть, заказчик ждёт «что-нибудь полезное». Смотрят, умеете ли вы сами превратить это в проверяемую постановку или потратите три недели на модель, которая никому не нужна.
Как отвечать
Покажите последовательность, а не список библиотек.
- Кому и зачем. Какое решение примут по результату и что изменится, если результата не будет. Пока ответа нет, нет и задачи.
- Что считается успехом. Целевая переменная, горизонт, метрика. Отдельно бизнес-метрика и та офлайновая, которой вы её приближаете.
- Что за данные. Откуда взялись, за какой период, как собирались, что означает пропуск, есть ли смещение отбора. Половину вопросов снимает разговор с тем, кто эти таблицы наполняет.
- Быстрый бейзлайн. Среднее, простое правило, логистическая регрессия. Он задаёт планку и иногда закрывает задачу целиком.
- Контрольная точка. Через несколько дней приносите описательную статистику и бейзлайн и уточняете цель. Это дешевле, чем месяц в тишине.
Отдельно проговорите судьбу результата: разовый отчёт, регулярный пересчёт или сервис. От этого зависит всё остальное, от формата данных до мониторинга.
Где спотыкаются
Сразу берутся за модель. Градиентный бустинг поверх неизвестной целевой переменной выглядит работой, но проверить его нечем: бейзлайна нет, метрика не согласована, сравнивать результат не с чем.
Рассказывают историю с придуманным эффектом вроде роста удовлетворённости на пятнадцать процентов. Следующий вопрос всегда про то, как это измерили и была ли контрольная группа, и заготовка рассыпается.
Пропускают проверку на утечку целевой переменной и делят выборку случайно там, где данные временные. Офлайновая метрика выходит отличной, в проде модель работает как подброшенная монета.