Как считается коэффициент Джини и как он связан с ROC AUC
Что проверяют
Понимаете ли вы, откуда берётся формула, а не просто помните её. Интервьюер хочет услышать, что Джини и ROC AUC это одна и та же ранжирующая метрика в разных шкалах. Следом обычно спрашивают, чего эта метрика не видит: калибровки, порога, дисбаланса классов.
Как отвечать
Начните с AUC, потом выведите из него Джини:
- ROC AUC: площадь под кривой TPR от FPR при переборе всех порогов. Вероятностный смысл: шанс, что случайный объект положительного класса получит скор выше случайного отрицательного. По сути это статистика Манна-Уитни, нормированная на число пар;
- Джини:
Gini = 2*AUC-1. Получается из CAP-кривой (кривой Лоренца): это отношение площади между кривой модели и диагональю к той же площади у идеальной модели. Другое прочтение: доля правильно упорядоченных пар минус доля неправильно упорядоченных; - шкала: AUC 0.5 даёт Джини 0, то есть случайную модель, AUC 1 даёт Джини 1. Модель хуже случайной получает отрицательный Джини, поэтому диапазон от минус единицы до единицы, а не от 0 до 1;
- расчёт:
roc_auc_score(y_true, y_score)из scikit-learn и пересчёт по формуле, отдельная функция не нужна.
Добавьте контекст: в кредитном скоринге и антифроде качество модели традиционно отчитывают именно Джини, поэтому там формулу знают все. И назовите главное свойство: метрика зависит только от порядка скоров, любое монотонное преобразование её не меняет.
Где спотыкаются
Путают с критерием Джини из деревьев решений, 1-sum(p**2). Это мера неоднородности узла при построении дерева, к оценке качества модели она отношения не имеет.
Считают, что высокий Джини означает точные вероятности. Метрика ранжирующая: модель с Джини 0.7 может систематически завышать вероятность дефолта вдвое, и это видно только по калибровке.
Сравнивают Джини разных выборок как абсолютные числа. На однородном сегменте тот же скоринг даст Джини ниже, чем на всём портфеле. А при редком положительном классе ROC выглядит оптимистично, поэтому стоит показать ещё PR-кривую или precision на рабочем пороге.