Что было таргетом в модели ранжирования заголовков и какая использовалась метрика
Что проверяют
Делали вы эту задачу сами или пересказываете статью. Вопрос точечный, по строке из резюме, и проверяется связка из трёх звеньев: откуда взялась разметка, что именно предсказывали, чем измеряли и почему именно этим.
Как отвечать
Идти по этой же цепочке. Источник разметки: логи показов и кликов или разметка асессорами, у первого варианта данных много и они шумные, у второго наоборот. Таргет: чаще всего бинарный клик по заголовку, иногда клик с фильтром по времени просмотра, чтобы модель не училась продвигать кликбейт, иногда шкала релевантности от асессоров. Метрики офлайн: NDCG на первых позициях, MRR, MAP, и сразу пояснить выбор. NDCG берут, когда у релевантности есть градации и важен порядок в верхушке, MRR когда нужен один правильный ответ повыше. Онлайн проверка: CTR и поведение после клика в A/B-тесте.
Обязательный пункт, который отличает практика: позиционное смещение. Клики собраны с выдачи, где верхние позиции кликают просто за то, что они верхние, и модель, обученная на сырых кликах, заучивает старое ранжирование. Что с этим делают: добавляют позицию признаком и фиксируют её на инференсе, взвешивают примеры обратной склонностью, подмешивают перестановки позиций в небольшой доле трафика.
Где спотыкаются
Называют метрику классификации вместо ранжирующей. Точность или ROC AUC по отдельным парам ничего не говорят о порядке внутри одной выдачи: модель может хорошо отделять классы и при этом ставить нужный заголовок вторым вместо первого.
Второе: не разделяют офлайн и онлайн. Выросший NDCG на исторических логах не означает роста кликов, и если на вопрос «а что показал A/B» ответа нет, весь рассказ выглядит учебным.
Третье: путают таргет с бизнес-целью. Цель это дочитывания или выручка, таргет это то, что физически лежит в обучающей выборке. Кандидат, который отвечает «таргетом была вовлечённость», не объяснит, как посчитал её на каждой строке.