Как учитывать кредитные карты в модели?

Что проверяют

Понимаете ли вы, как превратить сырые данные о картах в признаки без утечки из будущего, и знаете ли, как оценивают кредитные модели. Сначала стоит уточнить задачу: скоринг заявки на кредит, где карты служат признаками, модель дефолта по самой карте или антифрод по транзакциям. Следом обычно спрашивают про утечки и метрику.

Как отвечать

Для скоринга каркас такой:

• источники: внутренние данные банка и кредитная история из бюро. Карт у клиента бывает несколько, поэтому признаки агрегируются до уровня клиента;
• признаки: число открытых карт, суммарный лимит, утилизация (задолженность к лимиту), доля месяцев с минимальным платежом, число и глубина просрочек (DPD) за 3, 6 и 12 месяцев, снятие наличных, число новых карт и запросов в бюро за последнее время;
• точка во времени: всё считается строго на дату заявки. Строка обучающей выборки должна видеть только то, что было известно в тот момент;
• пропуски: «карт нет» и «данных нет» это разные состояния, их не заливают нулём, а кодируют отдельно;
• модель: в классических скоркартах логистическая регрессия на WoE-биннинге, её легко объяснить риск-менеджменту и регулятору. Градиентный бустинг (LightGBM, CatBoost) обычно точнее и работает как модель-челленджер;
• метрики: ROC AUC и производный от него Gini, равный удвоенному AUC минус единица, KS, стабильность признаков и скора по PSI. Accuracy на выборке, где дефолтов единицы процентов, почти ничего не говорит.

Вопрос помечен как поведенческий, поэтому дополните его своим кейсом: какая была задача, какие признаки по картам дали прирост и насколько, как проверяли стабильность. Цифры нужны свои, а если такого проекта не было, честно скажите это и пройдите каркас как план.

Где спотыкаются

Берут признаки, которые появились после события: лимит, выставленный уже после одобрения, или просрочку за период после даты заявки. На валидации модель блестит, в проде падает.

Кодируют тип карты через one-hot и на этом останавливаются, хотя основную пользу дают поведенческие агрегаты за окна.

Оценивают модель по accuracy или F1 без порога, согласованного с бизнесом, вместо ранжирующих метрик.