Важнее ли точность, чем полнота в задаче

Что проверяют

Умеете ли вы переводить цену ошибки из бизнеса в выбор метрики и порога, а не отвечать «зависит от задачи». Следом обычно просят пример из вашей практики и спрашивают, как именно вы выбирали порог.

Как отвечать

Сначала коротко определения, чтобы не было путаницы с accuracy:

• precision (точность): TP / (TP + FP), доля действительно положительных среди всего, что модель пометила как положительное;
• recall (полнота): TP / (TP + FN), какую долю всех настоящих положительных модель нашла.

Потом главное: у одной модели обе метрики сдвигаются вместе с порогом классификации, и выбор делается по стоимости ошибок. Если дорого ложное срабатывание, важнее precision. Спам-фильтр: письмо от клиента в папке «Спам» хуже, чем лишняя рассылка во входящих. Если дорог пропуск, важнее recall: скрининг заболеваний, первый этап антифрода, поиск дефектов. Скрининг так и строят: чувствительный первый шаг с высоким recall, дальше подтверждающая проверка с высокой точностью.

Как это оформить на практике:

• ограничение плюс оптимизация: зафиксировать одну метрику как требование (recall не ниже 0,95) и максимизировать вторую;
• кривая: precision_recall_curve из scikit-learn и average precision, при сильном дисбалансе классов они информативнее ROC-AUC;
• F-beta: при beta > 1 вес у recall, при beta < 1 у precision, а F1 уместна, только когда ошибки стоят примерно одинаково;
• ранжирование: если человек смотрит только топ выдачи, считают precision@k.

Для поведенческой части расскажите свой случай: какая была задача, кто и как оценил цену ошибок, какой порог выбрали и что изменилось в продукте. Цифры берите реальные. Если такое решение вы не принимали, честно разберите учебный или соревновательный проект и скажите, как согласовали бы порог с бизнесом.

Где спотыкаются

Путают precision с accuracy. На данных с 1% положительных модель «всегда нет» даёт 99% accuracy и нулевой recall.

Путаются в примерах: говорят, что в спам-фильтре важнее полнота, хотя главная боль там именно ложные срабатывания.

Подбирают порог на тестовой выборке и там же сообщают итоговое качество. Порог выбирают на валидации, иначе метрика завышена.