Как обновлять риск-модель при появлении новых данных и гипотез

Что проверяют

Понимаете ли вы специфику риск-моделей: целевая переменная приходит с задержкой, выборка смещена прошлыми решениями, а любое изменение модели проходит валидацию и документирование. Следом обычно спрашивают, как понять, что модель пора менять, раньше, чем вырастет просрочка.

Как отвечать

Разделите сценарии и назовите для каждого инструменты:

• мониторинг без таргета: PSI по скору и ключевым признакам, доля одобрений, распределение по бакетам. По распространённому правилу PSI меньше 0,1 означает стабильность, выше 0,25 серьёзный сдвиг;
• мониторинг с таргетом: Gini и калибровка на поколениях выдач, у которых уже прошло окно созревания, например 90 дней для дефолта 90+. Сигнал запаздывающий, поэтому смотрят и ранние индикаторы вроде первого пропущенного платежа;
• перекалибровка: если модель ранжирует хорошо, но уровень риска сдвинулся, достаточно поправить калибровку (изотоническая регрессия, Platt, сдвиг константы под новый уровень дефолта), не переобучая всё;
• новая гипотеза или переобучение: новый признак проверяют как эксперимент, на out-of-time выборке, по стабильности между периодами и по интерпретируемости, для скоринга часто с монотонными ограничениями в бустинге;
• выкатка: champion/challenger, когда новая модель сначала считает скор в тени, а затем получает небольшую долю потока с лимитами.

Добавьте версионирование данных и моделей (MLflow, фиксированные срезы), отчёт независимой валидации и учёт reject inference: таргет есть только у одобренных, и модель, обученная на них, не видит тех, кому отказали.

Где спотыкаются

Валидируют случайной кросс-валидацией. В риск-задачах данные зависят от времени, честная проверка только out-of-time.

Предлагают автоматически переобучать модель по расписанию. Без валидации и согласования это неконтролируемое изменение кредитной политики.

Добавляют признак с утечкой: данные, которые появляются после решения или связаны с исходом, например число звонков взыскания. На обучении метрики взлетают, в проде модель бесполезна.