В каком виде заказчик хотел получить результат: бинарное предсказание или вероятность?
Что проверяют
Вопрос из разбора вашего проекта. Интервьюер хочет понять, обсуждали ли вы с заказчиком, как будет использоваться модель, и понимаете ли, что порог отсечения это бизнес-решение, а не 0.5 по умолчанию. Следом спрашивают, как выбирали порог и можно ли было верить вероятностям.
Как отвечать
Начните с фактов проекта: что предсказывали, кто пользовался результатом и в каком виде его получал. Дальше покажите, что стояло за выбором:
- бинарный ответ: нужен, когда за предсказанием следует автоматическое действие, например блокировка транзакции. Тогда вопрос в пороге: выбирали его по стоимости ошибок, по допустимой доле ложных срабатываний или по ёмкости. Колл-центр обзванивает 500 клиентов в день, значит берём топ-500 по скору;
- вероятность: нужна, когда результат умножают на деньги или сравнивают между сегментами, например ожидаемые потери равны вероятности дефолта, умноженной на сумму. Тут скор обязан быть откалиброван;
- калибровка: бустинги и модели, обученные на пересэмплированных данных, выдают скоры, которые не совпадают с частотой события. Проверка через reliability diagram и Brier score, исправление через
CalibratedClassifierCVс методом sigmoid или isotonic; - метрики: ROC-AUC к калибровке равнодушна, её видят log loss и Brier score.
В scikit-learn у большинства классификаторов predict по сути отсекает predict_proba по 0.5, а в свежих версиях есть TunedThresholdClassifierCV для подбора порога под метрику.
Если о формате с заказчиком не договаривались, скажите честно, что отдали, и что уточнили бы сейчас: кто принимает решение по выходу модели и сколько стоит каждая ошибка. Пример и цифры нужны ваши.
Где спотыкаются
Оставляют порог 0.5 и не могут объяснить почему. На несбалансированных классах такой порог почти всегда неудачен.
Отдают скор как «вероятность», не проверив калибровку. Если модель училась на выборке после undersampling, «70%» не означает, что событие случится в семи случаях из десяти.
Отвечают теорией о плюсах двух подходов вместо истории проекта. Вопрос про конкретного заказчика, и общие слова здесь выглядят как отсутствие опыта.