Как формировать метрику, учитывающую ожидание прибыли и вероятность продажи по категориям

Что проверяют

Умеете ли вы собрать метрику из ожидаемого значения и не запутаться в том, что уже включает вероятность. Интервьюер смотрит, различаете ли вы выручку и прибыль, зачем нужна калибровка и что делать с категориями, где мало продаж. Следом спрашивают, для какого решения нужна метрика: ранжировать товары, распределять полку или бюджет.

Как отвечать

Сначала определите единицу: товар в выдаче, показ, лот за период. Затем ожидаемая прибыль на единицу:

• формула: EV = P(продажа) * маржа, где маржа это цена минус себестоимость, комиссия, логистика и ожидаемые возвраты. Ожидаемая прибыль уже содержит вероятность, умножать её на вероятность ещё раз нельзя;
• вероятность: продажа за фиксированное окно, например 14 дней после размещения. Её даёт классификатор, чаще градиентный бустинг, и ему нужна калибровка: изотоническая регрессия или Platt scaling, проверка по кривой надёжности и logloss. Высокий ROC AUC не гарантирует, что скор 0,3 означает 30%;
• редкие категории: частоту продаж сглаживают к родительской категории через бета-априорное распределение: (продажи + α) / (размещения + α + β);
• риск: две позиции с одинаковым EV могут сильно различаться разбросом; при ограниченном складе или бюджете добавляют стоимость хранения и штраф за неопределённость;
• агрегат по категории: сумма EV по её товарам или средний EV на слот, в зависимости от того, что распределяется.

Проверка: бэктест на истории (сколько прибыли получили бы, ранжируя по EV), затем A/B-тест с метрикой маржи, а не GMV.

Где спотыкаются

Считают «ожидаемую прибыль» как среднюю цену на объём продаж. Это выручка, и факт продажи в ней уже учтён, так что умножение на вероятность считает его дважды.

Берут некалиброванные скоры модели. Ранжирование по p * маржа требует настоящих вероятностей: завышенный скор дорогого товара сразу выталкивает его наверх.

Считают метрику по категории простым средним и получают картину, которую перевешивает пара бестселлеров. Решения лучше принимать на уровне товара, а оценку категории собирать из товарных.