Как оценивать качество модели по бизнес-метрикам и отзывам пользователей

Что проверяют

Умеете ли вы связать качество модели с деньгами и поведением пользователей и отличить эффект модели от шума. Следом обычно просят спроектировать A/B-тест: что рандомизируем, какая метрика главная, сколько ждать и как понять, что эксперимент сломан.

Как отвечать

Постройте иерархию метрик:

• офлайн: ROC-AUC, precision, MAPE и прочие метрики модели. Нужны для отбора кандидатов, но бизнес-метриками не являются;
• целевая бизнес-метрика: то, ради чего модель делали, например выручка на пользователя, конверсия в покупку, доля решённых обращений;
• прокси-метрики: быстро реагирующие сигналы вроде CTR или добавлений в корзину, когда целевая метрика меняется медленно;
• guardrail-метрики: показатели, которые нельзя ухудшить, например время ответа, отток, число жалоб, доля отмен.

Проверка на пользователях делается A/B-тестом. До старта рассчитывают минимальный детектируемый эффект и мощность, выбирают единицу рандомизации, после запуска проверяют sample ratio mismatch. Для снижения дисперсии применяют CUPED, для метрик-отношений бутстрап или дельта-метод.

Отзывы бывают явные (оценки, лайки, жалобы) и неявные (клики, время на странице, возвраты). Явных мало, и оставляют их в основном недовольные; неявные искажены позицией в выдаче. Поэтому отзывы разбирают по темам, в том числе через NLP, и используют как источник гипотез и разметки, а решение принимают по эксперименту.

Где спотыкаются

Называют TPR и precision бизнес-метриками. Это технические метрики, и рост precision не гарантирует роста выручки.

Смотрят на рост метрики в первые дни. Эффект новизны и недельная сезонность дают ложный результат, поэтому тест держат не меньше полного недельного цикла.

Приписывают модели изменение NPS. Его двигают цена, поддержка и сезон, поэтому без контрольной группы связь с моделью не доказать.