Были ли проблемы с частотой данных от кредитных бюро

Что проверяют

Работали ли вы с внешними данными, которые приходят с задержкой, и понимаете ли, как это ломает скоринговую модель. По сути вопрос про корректность данных во времени: не подсмотрела ли модель при обучении то, чего в момент решения ещё не было. Следом спрашивают, как вы собирали обучающую выборку и следили за свежестью данных в проде.

Как отвечать

Опишите свой случай по каркасу «проблема, как нашли, что сделали, чем измерили», с вашими метриками. Типичные проблемы, на которые стоит опереться:

• задержка отчётности: кредиторы передают данные в бюро с лагом, а бюро (НБКИ, ОКБ, Скоринг Бюро) обновляются не одновременно. Свежий кредит клиента может не попасть в отчёт;
• разрыв между обучением и продом: обучали на ежемесячных архивных срезах, а в проде запрос идёт онлайн в момент заявки. Распределения признаков расходятся;
• утечка из будущего: к заявке присоединили отчёт бюро, полученный позже даты заявки. На валидации Gini отличный, в проде падает;
• пропуски: отсутствие кредитной истории (no-hit) это отдельный сигнал, его не заполняют средним;
• стоимость запросов: каждый запрос в бюро платный, поэтому в поведенческом скоринге данные обновляют реже, чем хотелось бы.

Что делают: point-in-time соединения (merge_asof в pandas, as-of join в Spark, feature store с исторической выборкой вроде Feast), признак «возраст данных», мониторинг PSI по ключевым признакам и доли устаревших отчётов. Качество подтверждайте метриками кредитного риска: Gini, KS, стабильность по когортам.

Если с бюро вы не работали, так и скажите и расскажите об аналогичном источнике с лагом: данные партнёров, выгрузки из учётной системы. Механика та же.

Где спотыкаются

Предлагают интерполяцию пропусков. Линейная интерполяция берёт значение из будущего, то есть это та же утечка.

Называют прирост «точности на 15%». В скоринге accuracy на несбалансированной выборке почти ничего не значит, интервьюер ждёт Gini или ROC AUC на отложенном периоде.

Не отделяют дату события от даты поступления данных. Без этих двух дат нельзя восстановить, что модель знала в момент решения.