Можно ли в uplift-модели учитывать предыдущие взаимодействия с клиентом в метриках

Что проверяют

Понимаете ли вы разницу между признаками «до воздействия» и «после воздействия» и чем опасна вторая группа. Следом обычно спрашивают, как вы проверите, что модель ранжирует клиентов по приросту от коммуникации, а не по склонности купить.

Как отвечать

Короткий ответ: да, и чаще всего это полезно, но с жёсткой отсечкой по времени. История взаимодействий может появиться в трёх местах:

• признаки: число прошлых покупок, давность последнего контакта, реакция на прошлые рассылки. Всё считается строго на момент назначения воздействия. Такие признаки не смещают оценку и помогают модели найти тех, на кого коммуникация действует;
• целевая метрика: вместо сырого отклика можно брать изменение относительно предпериода или корректировать таргет в духе CUPED, вычитая θ·(X-mean(X)), где X это та же метрика до эксперимента. В рандомизированных данных это снижает дисперсию и не вносит смещения;
• оценка модели: Qini-кривая, AUUC, uplift@k (в scikit-uplift есть qini_auc_score и uplift_at_k). Полезно считать их отдельно по сегментам «контактировали недавно» и «давно не трогали»: эффект у них разный.

Назовите подходы: S-learner, T-learner, трансформация классов, X-learner, uplift-деревья (causalml, scikit-uplift). Всем нужна рандомизированная контрольная группа. Без неё история прошлых кампаний становится конфаундером: раньше рассылали тем, кто и так покупал, и модель выучит именно это.

Где спотыкаются

Берут признаки после воздействия: открытие письма, клики за неделю кампании. Это утечка, модель предсказывает отклик по самому отклику, а при скоринге таких данных ещё нет.

Учитывают прошлые воздействия, но не думают о переносе эффекта. Клиент, которому звонили вчера, сегодня реагирует иначе, и если в эксперименте смешаны свежие и старые контакты, uplift усредняется и выглядит меньше, чем есть.

Оценивают uplift-модель как классификатор, по ROC AUC на отклике. Высокий AUC значит, что модель хорошо находит тех, кто купит сам, а на них как раз не нужно тратить коммуникацию.