Какие бизнес-метрики важны для оценки качества идентификации
Что проверяют
Понимаете ли вы, что у ошибок идентификации разная цена, и умеете ли перевести метрики модели в деньги и пользовательский опыт. Следом обычно просят выбрать порог срабатывания и объяснить, от чего он зависит.
Как отвечать
Сначала уточните, о какой идентификации речь: биометрия по лицу или голосу, сопоставление клиента с записью в базе или склейка дублей между источниками. Метрики отличаются, но логика одна: две ошибки с разной ценой.
Метрики модели для биометрии:
- FAR (FMR): доля чужих, которых система приняла за своего. Отсюда фрод и прямые потери;
- FRR (FNMR): доля своих, которых система отвергла. Отсюда отказы в онбординге и нагрузка на поддержку;
- TAR при фиксированном FAR: например, доля верных допусков при FAR 1 на 10 000, так обычно сравнивают модели;
- поиск 1:N: FPIR и FNIR, причём ошибки растут вместе с размером базы.
Для сопоставления записей это precision и recall на парах, и ложная склейка двух разных клиентов обычно дороже пропущенного дубля.
Бизнес-метрики поверх этого:
- потери от фрода на тысячу проверок;
- конверсия прохождения: сколько честных пользователей прошли с первой попытки;
- доля ручной проверки и её стоимость в часах операторов;
- время прохождения и число повторных попыток;
- обращения в поддержку из-за отказов.
Порог выбирают по ожидаемой стоимости: цена ложного допуска на их число плюс цена ложного отказа на своё, минимум суммы при ограничениях службы безопасности. Метрики смотрят по сегментам (устройство, освещение, возраст), иначе модель может систематически отказывать отдельной группе.
Где спотыкаются
Называют главной метрикой accuracy. Если мошеннических попыток доли процента, модель, которая пускает всех, покажет accuracy выше 99%.
Приносят ROC-AUC как бизнес-метрику. Она усредняет качество по всем порогам, а в проде работает один порог, и важна точка на кривой, а не площадь.
Не называют цену ошибок. Без оценки, сколько стоит пропущенный мошенник и потерянный клиент, выбор порога превращается в угадывание.