Как оценивать модель без учителя для задачи ответов на вопросы

Что проверяют

Понимаете ли вы, что без размеченных ответов точность напрямую не посчитать, и чем её заменить. Следом обычно спрашивают, насколько можно доверять оценке, если судьёй работает другая модель.

Как отвечать

Сразу разведите два смысла: модель может обучаться без учителя, например на синтетических вопросах, но проверять её всё равно нужно на каком-то эталоне. Дальше каркас:

• маленький золотой набор: от 200 до 300 реальных вопросов с ответами, размеченных вручную. Это дешевле, чем кажется, и только он даёт честные Exact Match и F1 для экстрактивного QA;
• синтетические вопросы для поиска: генерируете вопрос по фрагменту базы знаний и смотрите, находит ли ретривер этот фрагмент. Recall@k и MRR считаются без ручной разметки;
• round-trip consistency: по ответу генерируется вопрос, и модель должна вернуть тот же ответ. Расхождение сигналит о шуме;
• опора на контекст: NLI-модель или LLM-судья проверяют, следует ли ответ из найденного текста. В RAG это метрики faithfulness и answer relevancy, например из библиотеки RAGAS;
• согласованность: несколько сэмплов на один вопрос, разброс ответов показывает низкую уверенность;
• онлайн-сигналы: оценки пользователей, доля переформулированных вопросов, передачи оператору.

Итог: прокси-метрики для быстрых итераций, золотой набор для контроля, A/B-тест для финального решения.

Где спотыкаются

Отвечают про силуэтный коэффициент и индекс Дэвиса-Болдина. Они оценивают кластеризацию, а не то, правильно ли модель ответила на вопрос.

Верят LLM-судье без проверки. У судьи есть смещения: он любит длинные ответы, первый вариант в паре и тексты своей же модели. Его оценки нужно сверить с ручной разметкой на выборке и посчитать согласие, например каппу Коэна.

Генерируют синтетические вопросы той же моделью и почти дословно по фрагменту. Совпадение слов делает поиск лёгким, метрики завышаются, а живые пользователи спрашивают другими словами.