Определяли ли вы дефолт в течение года
Что проверяют
Понимаете ли вы, что дефолт в течение года это определение целевой переменной, а не просто факт просрочки. Хотят услышать дату наблюдения, горизонт, правило события и то, как вы не заглядывали в будущее при сборе признаков. Это стандартная проверка на реальный опыт в кредитном скоринге.
Как отвечать
Если опыт есть, начните с цели: на дату наблюдения фиксируется клиент, горизонт двенадцать месяцев, событием считается, например, просрочка свыше девяноста дней подряд, а также реструктуризация или передача на взыскание, если так принято в методологии банка. Подчеркните, что признаки собираются строго на дату наблюдения.
Дальше по слоям: выборка и её смещение (по отказникам поведение не наблюдается, отсюда задача восстановления отказов), сильный дисбаланс классов, метрики ROC AUC, коэффициент Джини, статистика Колмогорова и Смирнова, валидация на более позднем периоде, а не случайная. Отдельно про интерпретируемость: логистическая регрессия на биннинге с весами доказательств часто побеждает бустинг не по метрике, а по объяснимости решения клиенту и проверяющему.
Если такого опыта нет, скажите прямо и переведите на близкое: отток, фрод, предсказание события в окне. Структура задачи одинаковая.
Где спотыкаются
Отвечают «точность выше восьмидесяти пяти процентов». При доле дефолтов в несколько процентов это хуже константного прогноза, и фраза мгновенно выдаёт отсутствие практики.
Второе: утечка через признаки. В обучение попадают поля, которые обновились уже после события: статус счёта, отметка о передаче долга, дата закрытия. На валидации модель прекрасна, в проде мертва.
Третье: случайное разбиение вместо разбиения по времени и отсутствие мониторинга после внедрения. Портфель и экономика меняются, и без контроля стабильности распределений модель тихо деградирует за пару кварталов.