Как строился таргет в проекте
Что проверяют
Умеете ли вы превратить бизнес-вопрос в целевую переменную и понимаете ли, что таргет это решение команды, а не готовая колонка в таблице. Следом почти всегда спрашивают, как вы проверяли, что в таргет не протекло будущее, и что делали с пограничными случаями.
Как отвечать
Отвечайте на своём проекте, по шагам и с цифрами из него. Каркас:
- бизнес-формулировка: что именно предсказываем и какое действие примут по прогнозу. «Отток» нужно превратить в правило, например нет покупок 60 дней после даты среза;
- дата среза и окна: признаки считаются строго до даты среза, таргет строго после, окно наблюдения и окно прогноза не пересекаются. Это главная защита от утечки;
- пограничные случаи: новые клиенты без истории, клиенты, у которых окно прогноза ещё не закрылось, сезонные паузы. Скажите, кого исключали и почему;
- проверка таргета: доля положительного класса, её стабильность на нескольких срезах, сверка с бизнесом на ручной выборке;
- метрика под таргет: при дисбалансе ROC-AUC и PR-AUC вместо accuracy, плюс бизнес-метрика вроде точности в верхних 10% скора.
Если опыта не было, не придумывайте историю. Скажите честно, что таргет задавали за вас, и разберите, как построили бы его сами на знакомой задаче: где взяли бы дату среза, какое окно выбрали бы и почему именно такое. Продуманный план ценится выше гладкой, но размытой легенды.
Где спотыкаются
Называют таргет, но не называют окно. Фраза «1, если клиент ушёл» без определения ухода и без даты среза сразу выдаёт, что задачу формулировал кто-то другой.
Считают признаки на всей истории, включая период после среза. На валидации модель блестит, в проде проседает, и объяснить разрыв кандидат уже не может.
Хвастаются accuracy 85% на выборке, где уходит 5% клиентов. Константный прогноз «не уйдёт» даёт 95%, и интервьюер это знает.