Кому показывать в машинном маркетинге

Что проверяют

Знаете ли вы, что в маркетинговой кампании показывать нужно не тем, кто скорее всего купит, а тем, на кого воздействие реально повлияет. Это вопрос про uplift-моделирование и причинный эффект. Следом обычно спрашивают, где взять данные для обучения такой модели и как её оценить.

Как отвечать

Начните с четырёх групп клиентов по реакции на коммуникацию:

• убеждаемые (persuadables): купят только после предложения. Ради них кампания и затевается;
• уверенные (sure things): купят и так. Скидка им это прямой убыток;
• безнадёжные (lost causes): не купят в любом случае, контакт тратится впустую;
• «не беспокоить» (sleeping dogs): реагируют на контакт негативно, например отписываются или уходят в отток.

Обычная модель отклика или склонности к покупке ставит выше всех «уверенных», поэтому бюджет уходит тем, кто принёс бы деньги и без него. Uplift-модель оценивает разность двух вероятностей целевого действия: P(Y=1|T=1) с воздействием и P(Y=1|T=0) без него.

Подходы: S-learner (одна модель с признаком воздействия), T-learner (две модели на тестовой и контрольной группах), X-learner, трансформация класса. Готовые реализации есть в scikit-uplift, CausalML и EconML.

Данные нужны из рандомизированного эксперимента: случайная контрольная группа, которой ничего не отправляли. Без неё модель смешивает эффект воздействия с тем, как раньше отбирали аудиторию.

Оценка: Qini-кривая, AUUC, uplift на верхних k процентах выборки. Итоговое решение принимается с учётом экономики: ранжировать по ожидаемому приросту прибыли за вычетом стоимости контакта и отбирать столько клиентов, сколько окупается. Результат подтверждается A/B-тестом с новой контрольной группой.

Где спотыкаются

Строят классификатор склонности к покупке и объявляют его моделью таргетинга. Кампания выглядит успешной, ведь покупают те, кто купил бы и так.

Оценивают uplift-модель по ROC AUC на отклике. Эта метрика не показывает, насколько выросла конверсия от воздействия, нужна Qini-кривая на отложенной выборке.

Забывают про группу «не беспокоить» и частоту касаний. Навязчивые рассылки уводят часть клиентов, и прирост в одной кампании оборачивается потерей в оттоке.