Какие метрики важнее для оценки качества рекомендаций: precision или recall
Что проверяют
Вопрос с ловушкой: от вас ждут не выбор одного слова, а понимание, что метрика зависит от места в системе и от бизнес-цели. Заодно смотрят, знаете ли вы, что в рекомендациях чистые precision и recall почти не используются, работают их версии на топ-K. Следом обычно просят выбрать метрику для конкретного экрана.
Как отвечать
Сначала определения через выдачу длины K. Precision@K это доля релевантных среди K показанных, Recall@K это доля найденных релевантных от всех релевантных. Затем главный аргумент: у рекомендаций две стадии, и метрики у них разные.
- отбор кандидатов: из миллионов объектов достаём тысячу. Здесь важна полнота, Recall@1000: то, что не попало в кандидаты, ранжировщик уже не спасёт;
- ранжирование: из тысячи выбираем и упорядочиваем несколько. Здесь важна точность на верхних позициях и сам порядок, поэтому берут NDCG@K, MAP@K, MRR, а не голый recall;
- витрина на пять карточек: пользователь видит только их, значит Precision@5 и его производные;
- сценарий «покажи всё по теме»: подборка, письмо с дайджестом, поиск похожих. Здесь пропуск релевантного дороже лишней карточки, и вес смещается к полноте.
Отдельно скажите, что полноту в рекомендациях честно измерить почти нельзя: вы знаете только реакции на то, что показали, а непоказанное релевантное в данных не отражено. Отсюда смещение по позиции и завышенные офлайн-оценки. Дополняйте картину покрытием каталога, разнообразием, новизной и долей холодных объектов, иначе система скатится в показ и без того популярного.
Финал: офлайн-метрики нужны для отсева гипотез, решение принимает онлайн-эксперимент по CTR, конверсии, удержанию и выручке.
Где спотыкаются
Отвечают одним словом. Любой из вариантов без условия неверен, а сам вопрос задан именно ради условия.
Считают показанное и не кликнутое отрицательным примером. Пользователь мог не долистать, и модель обучается на смещении по позиции, а не на вкусах.
Празднуют рост NDCG в офлайне и выкатывают без A/B. Офлайн-выигрыш регулярно не воспроизводится вживую, особенно когда меняется набор кандидатов.