Как оценивается релевантность ответа в модели

Что проверяют

Понимаете ли вы, что релевантность не измеряется одной цифрой: есть офлайн-оценка по разметке и онлайн-оценка на пользователях, и они часто расходятся. Следом обычно спрашивают, где взять разметку и как проверить, что LLM-судья не врёт.

Как отвечать

Сначала уточните, о какой модели речь: ранжирование и поиск или генеративный ответ, например RAG. От этого зависит набор метрик.

• метрики ранжирования: precision@k и recall@k считают долю релевантного в топе; MRR учитывает позицию первого верного результата; nDCG@k работает с градациями релевантности и штрафует хорошие документы, оказавшиеся внизу списка;
• разметка: асессоры оценивают пары «запрос, ответ» по шкале с подробной инструкцией. Согласованность разметчиков проверяют через каппу Коэна, без неё метрика меряет шум;
• генеративные ответы: отдельно оценивают, отвечает ли текст на вопрос и опирается ли он на найденный контекст. Для этого используют LLM-as-a-judge и библиотеки вроде Ragas с метриками вроде faithfulness, но судью сначала калибруют по ручной разметке;
• онлайн: CTR, доля переформулированных запросов, время до успешного действия, A/B-тесты или interleaving, когда два ранжировщика сравнивают на одном трафике.

Хороший ответ связывает уровни: офлайн-метрика нужна для быстрой итерации, а решение о выкатке принимается по онлайн-эксперименту.

Где спотыкаются

Отвечают про accuracy и F1 классификатора. Для списка результатов важен порядок, и две модели с одинаковым F1 могут дать совсем разный топ-5.

Приплетают кросс-валидацию и переобучение. Это про обобщающую способность модели, а не про то, как измерить релевантность выдачи.

Доверяют LLM-судье без проверки. Он склонен завышать оценку длинным ответам и ответам своей же модели, поэтому без сверки с людьми его оценка легко уезжает.