Как организовать контрольную группу (ручейк) в риск-моделях
Что проверяют
Понимаете ли вы проблему смещённой выборки в кредитном риске: исходы есть только у одобренных, а про отказанных банк не узнает, вернули бы они кредит. Следом спрашивают, как выбрать размер ручейка и как использовать эти данные при обучении и валидации.
Как отвечать
Ручеёк это небольшая случайная доля заявок, которая проходит мимо отсечки модели: её одобряют независимо от скора. Так появляется выборка из всего входящего потока, а не только из прошедших текущую стратегию. Без неё новую модель не на чем честно проверить в зоне, где старая отказывала, а reject inference остаётся догадкой.
Каркас организации:
- случайность: назначение по детерминированному хешу от идентификатора клиента с солью. Один клиент всегда в одной группе, повторная заявка не даёт второй попытки;
- что обходится: только скоринговая отсечка. Стоп-листы, антифрод, возрастные и законодательные ограничения действуют как обычно;
- ограничение риска: пониженный лимит или срок, общий бюджет потерь, согласованный с риск-менеджментом;
- размер: считается от числа дефолтов за горизонт, достаточного для оценки Gini с приемлемым доверительным интервалом. Обычно это доли процента или единицы процентов потока, в зависимости от уровня риска;
- логирование: флаг группы, скор и решение, которое приняла бы модель, сохраняются в витрине в момент заявки.
Анализ начинается после созревания целевой переменной, например 90+ дней просрочки на горизонте 6 или 12 месяцев. На ручейке сравнивают Gini старой и новой модели, калибровку и уровень риска по бакетам скора. При объединении с основным потоком объектам ручейка дают веса, обратные вероятности попадания в выборку.
Где спотыкаются
Отбирают ручеёк неслучайно: по времени суток, одному региону или решению менеджера. Такая группа уже смещена, и выводы по ней не переносятся на весь поток.
Рандомизируют по заявке, а не по клиенту. Отказанный клиент подаёт заявку снова, пока не попадёт в группу, и туда стекаются самые настойчивые, то есть самые рискованные.
Смотрят на результаты через месяц после запуска. Дефолты ещё не успели случиться, ручеёк выглядит безопасным, и отсечку опускают по несозревшим данным.