Что является признаками (фичами), а что таргетом в задаче
Что проверяют
Умеете ли вы перевести бизнес-постановку в задачу обучения. Признаки и таргет это не два сорта колонок в таблице, а решение о том, что и в какой момент известно. Смотрят, задаёте ли вы вопрос про момент предсказания раньше, чем начинаете перечислять поля витрины.
Как отвечать
Начните с таргета. Он определяется решением, которое кто-то принимает по предсказанию: если по нему будет отправлено удерживающее предложение, целевое событие это уход клиента, и описывать его нужно полностью, с горизонтом и критерием.
Признаки это всё, что доступно на момент, когда предсказание делается в бою. Отсюда главное правило: граница проходит по времени, а не по таблице. Фиксируем точку отсечки, берём данные, попавшие в систему до неё, и повторяем это для каждого объекта на его собственной дате, а не на сегодняшней.
Пример на оттоке: таргет это факт ухода в течение выбранного горизонта после даты среза, признаки это активность, платежи, обращения в поддержку и их динамика до среза. Сумма возврата, дата расторжения договора и статус в учётной системе после ухода признаками быть не могут, хотя лежат в той же витрине.
Для инженерной части добавьте, что признаки считаются одним кодом для обучения и для продакшена. Разошедшаяся логика даёт расхождение между обучением и применением, и обнаруживается оно уже на живом трафике.
Где спотыкаются
Тащат в признаки то, что становится известно только после целевого события. Качество на валидации выходит подозрительно высоким, и это первый симптом утечки, а не повод радоваться модели.
Считают статистики по всему набору до разбиения. Масштабирование, кодирование категорий средним значением таргета, отбор по корреляции с ним: всё это считается внутри обучающей части, иначе оценка завышена и в проде рассыпается.
Берут таргетом удобную колонку вместо нужной. Предсказывать факт покупки, когда бизнесу нужна выручка, или общий отток, когда решение принимается только по платным клиентам, значит аккуратно решить не ту задачу.