Сколько было дефолтных клиентов?

Что проверяют

Вопрос про ваш проект, а не про определение дефолта. Интервьюер выясняет, помните ли вы объём выборки и долю положительного класса, потому что от них зависит всё остальное: метрика, схема валидации, работа с дисбалансом. Кандидат, который «делал скоринг», но не знает базовый уровень события, обычно пересказывает чужой ноутбук.

Как отвечать

Назвать два числа и определение. Сколько всего наблюдений и сколько из них дефолтных, в штуках и в процентах, и что именно считалось дефолтом: просрочка свыше стольких-то дней, зафиксированная в окне наблюдения после выдачи. Без горизонта цифра бессмысленна, одна и та же выборка на полугодовом и двухлетнем горизонте даёт разную долю.

Дальше объяснить, что из этой доли следовало. При нескольких процентах положительного класса доля правильных ответов бесполезна как метрика, смотрят ROC-AUC и Gini, при совсем редком событии ещё и PR-AUC. Разбиение делается стратифицированно и обязательно с отложенной по времени выборкой: клиенты разных периодов ведут себя по-разному, и случайный сплит завышает качество. Про дисбаланс достаточно сказать, что обычно хватает весов классов, а к перевесу выборки прибегают осознанно.

Где спотыкаются

Называют долю и не помнят объём. Три процента дефолтов на пяти тысячах заявок и на пяти миллионах это разные задачи: в первом случае положительных примеров полторы сотни, и разговор идёт уже про переобучение, а не про метрику.

Второе: балансируют выборку и забывают, что после этого предсказанные вероятности смещены. Если модель отдаёт не ранжирование, а вероятность дефолта для расчёта риска, её нужно откалибровать обратно.

Третье: определение таргета плавает. В обучении одно окно, в проде другое, а в признаки затекают поля, заполняемые уже после факта дефолта. На собеседовании это вскрывается вопросом «а откуда бралось это поле на момент выдачи».