Какие фичи статистически влияют и могут изменяться для одного пользователя, а какие нет

Что проверяют

Различаете ли вы признаки, постоянные для пользователя, и признаки, меняющиеся от наблюдения к наблюдению, и понимаете ли, как это влияет на модель, валидацию и выводы. Следом обычно спрашивают про утечку данных и разбиение выборки.

Как отвечать

Сначала разделите признаки:

• статические: пол, страна и дата регистрации, канал привлечения. Для одного пользователя не меняются;
• медленно меняющиеся: тариф, город, возраст. Их хранят с датой начала действия, иначе в прошлое подставится сегодняшнее значение;
• динамические: число сессий за 7 дней, давность последней покупки, баланс, текущее устройство. Меняются постоянно.

Теперь статистика. Дисперсию целевой метрики раскладывают на межпользовательскую и внутрипользовательскую, долю первой показывает коэффициент внутриклассовой корреляции (ICC). Статические признаки объясняют только межпользовательскую часть. Поэтому в модели с фиксированными эффектами пользователя их влияние оценить нельзя: оно поглощается индивидуальной константой, и остаются только меняющиеся признаки. В смешанной модели со случайным эффектом пользователя они оцениваются.

Практические следствия:

• разбиение по пользователям: GroupKFold, иначе модель узнает пользователя по статическим признакам и метрика на валидации завысится;
• point-in-time корректность: динамические признаки считаются только по данным до момента прогноза, отсюда окна и feature store с метками времени;
• в A/B-тестах: ковариатой для CUPED берут значения до эксперимента, признаки, на которые влияет воздействие, использовать нельзя;
• важность не равна причинности: SHAP и permutation importance показывают вклад в прогноз, а не эффект вмешательства.

Где спотыкаются

Делят выборку случайно по строкам, когда у пользователя их десятки. Статические признаки превращаются в идентификатор, и качество в проде ниже валидационного.

Считают агрегаты по всей истории, включая будущее относительно даты прогноза. На истории модель выглядит отлично, в проде ломается.

Называют признак влияющим по корреляции или важности в бустинге. Для вывода о влиянии нужен эксперимент или хотя бы контроль смешивающих факторов.