Как изменится ROC AUC при дублировании положительных и отрицательных объектов и почему?
Что проверяют
Понимаете ли вы, как устроен ROC AUC, а не просто помните, что «чем ближе к единице, тем лучше». Правильный ответ выводится из определения за минуту. Следом обычно спрашивают, что будет, если размножить только часть объектов или переобучить модель на таких данных.
Как отвечать
Начните с определения, из него всё следует:
- вероятностный смысл: AUC равен вероятности того, что случайный положительный объект получит скор выше случайного отрицательного. Это нормированная статистика Манна-Уитни: доля правильно упорядоченных пар «положительный, отрицательный», ничьи идут за половину;
- дублирование всех объектов в k раз: число пар каждого вида растёт в k² раз, доля правильно упорядоченных не меняется. AUC остаётся в точности тем же;
- дублирование целиком одного класса: тоже без изменений. TPR и FPR нормируются внутри своего класса, поэтому ROC-кривая не чувствительна к соотношению классов;
- дублирование части объектов: AUC меняется, потому что эти объекты получают больший вес в парах. Метрика сдвигается к тому, как модель ранжирует именно размноженную группу.
Отдельно оговорите, что всё это про фиксированную модель и уже посчитанные скоры. Если модель переобучают на размноженных данных, скоры могут поменяться: у логистической регрессии с L2 дублирование всей выборки в k раз равносильно ослаблению регуляризации в k раз, у деревьев иначе срабатывают пороги вроде min_samples_leaf. Полезен и контраст: PR AUC и precision от баланса классов зависят, и дублирование отрицательных их уронит.
Где спотыкаются
Отвечают «AUC вырастет, потому что данных стало больше». Новой информации дублирование не добавляет, а порядок скоров от него не меняется.
Путают ROC AUC с метриками, завязанными на порог и баланс классов, и переносят на него рассуждения про accuracy или precision.
Забывают про утечку: если дубли разошлись по обучающей и валидационной выборкам, модель видела валидационные объекты при обучении, и AUC на отложенной выборке окажется завышенным. Дедупликацию делают до разбиения, а не после.