Расскажите про бизнес кейс антифрод системы и как вычисляли черные терминалы
Что проверяют
Умеете ли вы связать модель с деньгами и с ограничениями продакшена. Антифрод это учебник по дисбалансу классов и по асимметрии ошибок: пропущенное мошенничество стоит прямых потерь, лишняя блокировка стоит клиента и репутации. Интервьюер слушает, как вы выбирали метрику, порог и разметку, а не какие алгоритмы перебрали.
Как отвечать
Начните с постановки, а не с моделей. Что считается меткой, откуда она берётся и с какой задержкой: подтверждения мошенничества приходят через недели, поэтому свежие данные почти всегда не размечены, и это определяет и обучение, и валидацию по времени.
Дальше признаки уровня терминала: доля отклонённых операций, повторяющиеся попытки с разными картами, ночная активность, странное распределение сумм, скорость операций, доля карт, впервые увиденных на этом терминале, расхождение географии с историей карты. Отдельно расскажите про связный взгляд: карты, засветившиеся на подтверждённо плохом терминале, связывают терминалы между собой, и такая графовая признаковая часть обычно даёт больше, чем усложнение модели.
Метрики берите под цену ошибки: точность на верхних процентах скоринга, полнота по подтверждённому мошенничеству, спасённые деньги против заблокированного честного оборота. Завершите эксплуатацией: порог, правила поверх модели, ручной разбор спорных случаев, мониторинг сдвига распределений.
Где спотыкаются
Оценивают модель по доле верных ответов. При доле мошенничества в сотые части процента модель, которая всё считает честным, покажет прекрасную цифру и нулевую пользу, и это первый вопрос, который вам зададут.
Допускают утечку целевого признака. В обучение попадают поля, которые заполняются уже после разбора инцидента: статус блокировки, результат расследования, пометка службы безопасности. На валидации метрики отличные, в проде модель слепа.
Называют круглый результат без второй стороны: снизили мошенничество на треть. Спросят про базу сравнения, про долю ложных срабатываний и про стоимость ручной проверки. Антифрод без этой второй цифры оценить невозможно, и ответ выглядит заученным.