Расскажите про проект антифрода, который вам больше всего нравится
Что проверяют
Понимаете ли вы, чем антифрод отличается от обычной классификации. Классов сильно разное количество, цена ошибок несимметрична, разметка приходит с задержкой, а противник подстраивается под вашу модель. Смотрят, работали ли вы с этим в проде или пересказываете учебный ноутбук с открытым набором данных.
Как отвечать
Расскажите один проект по инженерной цепочке:
- постановка: что считается мошенничеством, откуда берутся метки (обращения клиентов, возвраты платежей, ручная разметка) и с каким опозданием они доезжают;
- признаки: агрегаты по окнам (частота и суммы за час и за сутки), новизна устройства и получателя, несовпадение геолокации и невозможные перемещения, связи через общие атрибуты;
- валидация по времени, а не случайным разбиением: случайное даёт утечку будущего в прошлое и красивые цифры, которых в проде не будет;
- метрики: полнота и точность на рабочем пороге, кривая точность и полнота, качество в верхней части скоринга. Доля правильных ответов бессмысленна, когда мошенничество это доли процента;
- порог и стоимость ошибки: ложная блокировка стоит клиента и обращения в поддержку, пропуск стоит денег. Порог выбирается под ёмкость ручного разбора;
- эксплуатация: бюджет задержки в онлайне, одинаковый расчёт признаков в обучении и в бою, правила рядом с моделью, мониторинг дрейфа и переобучение.
Где спотыкаются
Называют долю правильных ответов главной метрикой. При таком дисбалансе модель, всегда отвечающая «не мошенник», выглядит почти идеальной и не ловит ничего.
Молчат про задержку меток. Свежие данные ещё не размечены, и обучение на них занижает долю мошенничества, а офлайн-оценка становится оптимистичнее реальности.
Не говорят про деградацию. Схемы обмана меняются, поэтому в антифроде важнее не разовое качество модели, а то, кто и как замечает падение и как быстро выкатывается обновление.