Как измерить качество модели без обучения
Что проверяют
Понимаете ли вы, что оценка не требует обучения: готовую модель (предобученную, чужую, уже работающую в продакшене) можно честно измерить, если есть правильная выборка и подходящая метрика. Следом обычно спрашивают, что делать, когда разметки нет вовсе.
Как отвечать
Сначала уточните, что имеется в виду, и разберите оба случая.
Модель готова, размеченные данные есть:
- отложенная выборка: модель её не видела, распределение как в продакшене, для временных данных разбиение по времени, а не случайное;
- метрика под задачу: при дисбалансе классов PR-AUC и F1 вместо accuracy, для ранжирования NDCG, для регрессии MAE или RMSE, для LLM и zero-shot моделей набор эталонных примеров с автопроверкой или LLM-as-a-judge с выборочной ручной сверкой;
- бейзлайн:
DummyClassifier, самый частый класс, простое правило. Без него цифра 0.9 ничего не говорит; - доверительный интервал: бутстрап по тестовой выборке показывает, насколько метрика устойчива.
Разметки нет, типичная ситуация в продакшене:
- ручная разметка случайной выборки: пара сотен примеров часто даёт оценку надёжнее любых косвенных методов;
- дрейф: распределения признаков и предсказаний сравниваются с обучающими через PSI или тест Колмогорова-Смирнова, готовые отчёты есть в Evidently;
- оценка по уверенности: если модель откалибрована, ожидаемое качество прикидывают по её вероятностям (подход CBPE в NannyML);
- отложенные метки и бизнес-сигналы: возвраты, жалобы, конверсия, которые приходят позже.
Где спотыкаются
Предлагают кросс-валидацию. Она как раз требует многократно обучать модель на фолдах и отвечает на другой вопрос: как поведёт себя процедура обучения.
Меряют готовую модель на данных, которые могли попасть в её обучение. У предобученных моделей это частая утечка: публичный бенчмарк мог оказаться в обучающем корпусе.
Принимают дрейф признаков за доказательство падения качества. Распределение может сдвинуться без потери точности, и наоборот, поэтому дрейф это повод проверить модель, а не сама оценка.