Что такое вероятностная модель конверсии
Что проверяют
Понимаете ли вы, что модель предсказывает вероятность события, а не метку класса, и что от неё требуется калибровка, а не только хорошее ранжирование. В рекламных аукционах предсказанная вероятность конверсии умножается на ценность действия и превращается в ставку, поэтому систематическое смещение вероятности сразу переводится в деньги.
Как отвечать
Начните с постановки: есть событие с бинарным исходом (конверсия случилась или нет), есть признаки показа, пользователя и контекста, модель оценивает вероятность исхода. Обучение идёт на исторических логах, функция потерь логистическая, потому что она напрямую штрафует за неверную вероятность.
Дальше по делу: логистическая регрессия на разреженных признаках остаётся рабочим выбором при огромном числе категорий, градиентный бустинг силён на плотных агрегатах, нейросети нужны, когда важна последовательность действий пользователя.
Метрики стоит разделить вслух. ROC AUC и PR AUC меряют порядок, а не абсолютное значение. Калибровку меряют кривой надёжности, оценкой Бриера и простым отношением суммы предсказаний к фактическому числу конверсий по срезам. Чинят её изотонической регрессией или логистической поправкой на отложенной выборке.
Сильный ответ упоминает специфику домена: отложенная конверсия (метка приходит через дни после показа), редкий положительный класс и понижающая выборка негативов с обратной поправкой смещения, а также смещение отбора, ведь в логах лежат только выигранные аукционы.
Где спотыкаются
Отчитываются одним AUC. Он не меняется при любом монотонном преобразовании выхода, поэтому модель может стабильно завышать вероятность вдвое и сохранять отличный AUC, а ставки при этом уедут вверх на всём трафике.
Не думают про окно атрибуции: всё, что не сконвертировалось к моменту выгрузки, размечают нулём. Свежие показы получают заведомо заниженную метку, и модель учится недооценивать недавние сегменты.
Забывают, что модель формирует данные, на которых учится следующая версия. Показываем то, что она сочла перспективным, и обратная связь по остальному трафику не приходит. Лечится долей случайного показа и честным логированием того, что было предсказано в момент решения.