Как анализировать эффективность скоринговых алгоритмов
Что проверяют
Умеете ли вы оценить скоринговую модель так, как её оценивает бизнес: по ранжирующей силе, калибровке, стабильности во времени и деньгам, а не одной метрикой на отложенной выборке. Вопрос поведенческий, поэтому следом попросят рассказать, как было у вас и что вы делали, когда модель начала деградировать.
Как отвечать
Стройте ответ как рассказ о своей модели, по слоям:
- ранжирование: ROC AUC и Gini, равный удвоенному AUC минус единица, плюс KS-статистика. При редком целевом событии добавьте PR AUC;
- калибровка: если скор используют как вероятность дефолта, предсказанная доля должна совпадать с фактической. Смотрят кривую калибровки по бакетам и Brier score;
- стабильность: PSI по скору и признакам между обучающей выборкой и текущим потоком. Распространённое правило: до 0,1 спокойно, от 0,1 до 0,25 повод разбираться, выше 0,25 серьёзный сдвиг;
- бизнес-эффект: доля одобрений и дефолтов среди одобренных при выбранном пороге, ожидаемые потери или прибыль на заявку. Порог выбирают по деньгам, а не по максимуму F1.
Проверяйте на out-of-time выборке: учим на одних месяцах, оцениваем на более поздних. Учтите созревание таргета: дефолт вида 90+ дней просрочки виден спустя месяцы, свежие поколения ещё нельзя оценивать. Назовите и смещение отбора: исходы известны только по одобренным заявкам, для этого есть reject inference. В проде новую модель сравнивают со старой по схеме champion/challenger на части потока.
Цифры в рассказе нужны ваши: объём выборки, доля дефолтов, прирост Gini, что показал мониторинг. Если с кредитным скорингом вы не работали, опишите близкий случай (скоринг лидов, антифрод) и честно скажите, что переносите подход.
Где спотыкаются
Называют accuracy. При доле дефолтов 4% модель, одобряющая всех, получает 96% и ничего не стоит.
Оценивают на случайном K-fold. Будущее протекает в обучение, и метрики выходят выше, чем модель покажет в проде.
Балансируют классы через SMOTE и забывают о последствиях. Применять его можно только к обучающей части, а вероятности после этого смещены и требуют перекалибровки.