Как проверять качество новых фич и гипотез в риск-моделях и какие метрики использовать
Что проверяют
Знаете ли вы специфику кредитного риска: долгий таргет, требования к стабильности и интерпретируемости, метрики, принятые в скоринге. Следом спрашивают, как вы докажете, что прирост Gini от новой фичи не шум и не утечка.
Как отвечать
Каркас проверки новой фичи:
- сама фича: заполненность, WoE и IV по бинам, монотонность связи с дефолтом, однофакторный Gini. IV ниже 0,02 обычно считают бесполезным, а подозрительно высокий IV повод искать утечку;
- стабильность: PSI по месяцам, до 0,1 считают стабильным, выше 0,25 заметным сдвигом;
- прирост модели: модель с фичей и без на одной выборке, разбиение out-of-time, а не случайное, потому что в проде модель работает на будущих заявках;
- значимость: бутстреп доверительного интервала для разницы Gini или тест DeLong для AUC;
- калибровка: предсказанная PD совпадает с наблюдаемой долей дефолтов по бакетам, в помощь калибровочная кривая и Brier score;
- бизнес-эффект: сколько дефолтов отсекается при том же уровне одобрения или насколько растёт одобрение при том же риске.
Основные метрики скоринга: Gini (равен 2 * AUC - 1), KS и PSI. F1 и accuracy тут почти не используют: они зависят от порога, а риск-модель выдаёт вероятность, из которой потом строится стратегия.
Гипотезу на живом потоке проверяют через champion-challenger: новая модель или стратегия получает небольшую долю заявок. Помните про задержку таргета: дефолт вида 90+ дней просрочки созревает месяцами, поэтому ранние выводы делают по индикаторам вроде FPD.
Где спотыкаются
Оценивают на случайном разбиении. Out-of-time обычно даёт Gini ниже, и именно эта цифра ближе к проду.
Не проверяют утечку: фича собрана из данных, которых нет на момент заявки, например из поведения клиента после выдачи. Резкий прирост Gini чаще всего означает именно это.
Забывают, что модель учится только на выданных кредитах. Фича может выглядеть сильной на одобренных и вести себя иначе на всём потоке, про reject inference стоит хотя бы упомянуть.