Какие метрики использовались для оценки модели и какова была количественная оценка
Что проверяют
Считали ли вы качество сами и понимаете ли, почему выбрана именно эта метрика, а не accuracy по привычке. Требование назвать число проверяет ещё и достоверность истории: свои цифры человек помнит и умеет объяснить, чужие расплываются. Следом обычно спрашивают, с чем сравнивали и как выбирали порог.
Как отвечать
Ведите рассказ от задачи к деньгам:
- постановка и дисбаланс: если положительных примеров два процента, скажите об этом сразу, отсюда следует вся дальнейшая логика выбора метрик;
- офлайн-метрики: ROC-AUC как оценка ранжирования, PR-AUC при сильном дисбалансе, precision и recall на выбранном пороге, F1 как компромисс. Для регрессии MAE, RMSE, MAPE, для ранжирования и рекомендаций NDCG@k и Recall@k;
- точка отсчёта: константа, простое правило или прошлая модель. Метрика без сравнения не значит ничего;
- валидация: стратифицированная кросс-валидация, а для временных данных разбиение по времени, чтобы не заглянуть в будущее;
- порог: выбирается по цене ошибки и пропускной способности процесса, а не по максимуму F1;
- онлайн: A/B-тест, длительность, размер групп, значимость, эффект на бизнес-метрике;
- после запуска: мониторинг качества и дрейфа, потому что метрика на проде живёт своей жизнью.
Формулировка, которая звучит убедительно: «PR-AUC 0.62 против 0.41 у прошлой модели, на пороге 0.7 precision 0.83 при recall 0.55, в двухнедельном A/B потери от фрода снизились на 18 процентов при том же числе ручных проверок».
Числа приводите свои. Готовый пример из статьи узнаётся по первому уточняющему вопросу про размер выборки.
Где спотыкаются
Называют accuracy 0.98 на сильно несбалансированной задаче, где константный ответ даёт 0.98 без всякой модели.
Не помнят базовый уровень. Число само по себе не оценивается: 0.7 может быть прорывом, а может быть хуже правила из трёх условий.
Приводят офлайн-метрику как доказательство пользы, хотя на проде эффект не измеряли. Соседняя ошибка это утечка в валидации: нормализация до разбиения или случайный сплит там, где данные упорядочены по времени.