Какая точность модели антифрода?
Что проверяют
Понимаете ли вы, что в антифроде accuracy почти ничего не значит, и умеете ли говорить о качестве модели на языке бизнеса. Если вы назовёте одну цифру, следом спросят: «На каком пороге, на какой выборке и сколько денег это сэкономило?»
Как отвечать
Начните с того, что мошенничество это доли процента операций. Модель, которая всем отвечает «не фрод», получит accuracy 99,9% и не поймает ни одного случая. Поэтому о своей модели рассказывайте через другие метрики:
- precision и recall: какая доля заблокированных операций действительно мошенническая и какая доля фрода поймана. Между ними идёт торг через порог;
- PR-AUC: при сильном дисбалансе информативнее ROC-AUC, который бывает высоким даже там, где на рабочем пороге precision никуда не годится;
- recall при фиксированной доле ложных срабатываний: сколько фрода ловим, если готовы потревожить не больше 0,5% честных клиентов. Так метрику понимает бизнес;
- деньги: предотвращённый ущерб против стоимости ложных блокировок, нагрузки на ручную проверку и оттока клиентов.
Затем объясните, откуда цифры. Валидация идёт по времени (обучение на прошлых месяцах, проверка на следующем), а не случайным разбиением: случайный сплит подмешивает будущее в обучение и завышает качество. Упомяните задержку меток: чарджбэк приходит через недели, поэтому свежие данные размечены неполно. Расскажите, как выбирали порог и как следили за дрейфом после запуска.
Цифры приводите свои и с условиями: «recall 0,72 при FPR 0,3% на отложенном месяце». Если модель была учебной или вы отвечали только за часть пайплайна, скажите прямо.
Где спотыкаются
Называют accuracy 98% как достижение. В антифроде это скорее признак, что модель ничего не делает.
Путают термины: по-русски «точность» часто означает precision, а F1 это среднее гармоническое precision и recall. Уточните, о какой метрике речь, прежде чем называть число.
Хвалятся SMOTE и случайной кросс-валидацией. Оверсэмплинг сбивает калибровку вероятностей, а без временного сплита оценка оптимистична и на проде не повторится.