Какие метрики использовать для оценки новой модели при выкатывании на пилотную группу?
Что проверяют
Понимаете ли вы, что на пилоте модель оценивают уже не по accuracy на тестовой выборке, а по влиянию на бизнес и по поведению в проде. Следом обычно спрашивают, как вы выберете пилотную группу и при каких условиях откатите модель.
Как отвечать
Метрики пилота делятся на четыре группы, и все их фиксируют до запуска вместе с порогами отката.
- целевая бизнес-метрика: то, ради чего модель меняли: конверсия, выручка, уровень одобрения при допустимом риске, доля автоматически закрытых обращений. Сравнивается с контрольной группой на старой модели за тот же период;
- онлайн-качество модели: precision и recall на размеченной обратной связи, доля ручных исправлений, калибровка вероятностей. Если истинная метка приходит с задержкой, как дефолт по кредиту через несколько месяцев, берут ранние прокси-метрики, а финальные досчитывают позже;
- защитные метрики: p99 времени инференса, доля ошибок и таймаутов, стоимость запроса, жалобы, метрики справедливости по сегментам;
- здоровье данных: дрейф признаков и распределения предсказаний относительно обучающей выборки, например PSI или тест Колмогорова-Смирнова, доля пропусков во входах.
Хорошая последовательность: теневой режим, где модель считает, но ничего не решает, затем пилот на случайной доле трафика, затем постепенное расширение.
Где спотыкаются
Перечисляют только офлайн-метрики: accuracy, F1, ROC-AUC. Они посчитаны ещё до пилота, а вопрос о том, что изменилось для бизнеса.
Выбирают пилотную группу не случайно: лучший регион, лояльных клиентов, один канал. Разница с контролем получается из-за состава групп, а не из-за модели.
Забывают про петлю обратной связи. Модель сама влияет на то, какие метки вы увидите: кредит получили только одобренные, и о качестве отказов данных нет. Без небольшой случайной или контрольной доли решений оценка смещается.