Знакомы ли вы с RTB аукционами

Что проверяют

Понимаете ли вы, как устроен аукцион и какие ML-задачи в нём решаются в жёстких ограничениях по времени. Для data-ml следом почти всегда спрашивают, как предсказывать CTR и как из вероятности клика получается ставка.

Как отвечать

Опишите путь одного показа, он укладывается примерно в сотню миллисекунд:

• запрос: пользователь открывает страницу или приложение, SSP со стороны площадки формирует bid request по протоколу OpenRTB. В нём слот (imp), площадка, устройство, данные о пользователе и tmax, лимит на ответ;
• ставки: запрос уходит в десятки DSP. Каждая за считанные миллисекунды оценивает показ и отвечает ставкой с креативом или отказом;
• аукцион: биржа выбирает победителя, креатив показывается, DSP получает уведомление о выигрыше.

Второй пункт и есть работа ML. Ценность показа считают как вероятность целевого действия, умноженную на его ценность для рекламодателя: pCTR * цена клика или pCTR * pCVR * цена конверсии. Модели CTR строят на логистической регрессии с хешированием признаков, факторизационных машинах, бустинге и нейросетях вроде DeepFM. Дальше ставку корректируют бюджетный пейсинг, частотное ограничение и антифрод.

Важная деталь: индустрия перешла со второй цены на первую, Google Ad Manager сделал это в 2019 году. Победитель платит свою ставку, поэтому DSP занимается bid shading: снижает ставку до уровня, которого хватит на победу, и для этого моделирует вероятность выигрыша при разной цене.

Если с RTB вы не работали, скажите это прямо, опишите, что знаете, и свяжите с похожим опытом: предсказание кликов в рекомендациях, модели с жёстким бюджетом на инференс.

Где спотыкаются

Оценивают модель CTR только по AUC. Ставка пропорциональна вероятности, поэтому калибровка важна не меньше ранжирования: смотрят на log loss и калибровочные кривые.

Забывают про время ответа. Тяжёлая модель, которая не укладывается в tmax, в аукционе не участвует вовсе.

Не учитывают смещение данных: цену и реакцию пользователя вы видите только по выигранным аукционам, а модель потом применяют ко всем запросам.