Почему нужны метрики кроме accuracy
Что проверяют
Понимаете ли вы, что метрика выбирается под цену ошибки, а не по привычке. Вопрос ведёт к дисбалансу классов и к порогу, и по ответу видно, работали ли вы с реальной задачей.
Как отвечать
Назовите две беды accuracy. Первая, дисбаланс: если целевой класс встречается один раз на тысячу, константный ответ «нет» даёт 99,9 процента и нулевую пользу. Вторая, она не различает типы ошибок, а стоят они по-разному: пропущенное мошенничество это деньги, ложная блокировка это ушедший клиент.
Дальше по метрикам. Precision показывает, какая доля срабатываний оказалась верной, recall какую долю целевых объектов модель нашла, F1 балансирует их через гармоническое среднее. Важно проговорить, что выбор между precision и recall это выбор порога, а не другой модели: одна и та же модель даёт разные пары значений при разной отсечке. ROC-AUC и PR-AUC оценивают качество ранжирования сразу на всех порогах, причём при сильном дисбалансе ROC-AUC выглядит слишком оптимистично, и честнее смотреть PR-AUC.
Отправная точка разговора это матрица ошибок, а вершина ответа это деньги: во что обходится ложное срабатывание, во что пропуск, и где минимум ожидаемых потерь. Для регрессии принцип тот же: MAE и RMSE различаются чувствительностью к выбросам, MAPE ломается около нуля.
Где спотыкаются
Перечисляют метрики списком и не говорят, какую выбрали бы здесь. Интервьюер ждёт связку «цена ошибки, метрика, порог», а получает пересказ учебника. Достаточно одного примера из своей практики, чтобы ответ перестал быть списком.
Путают precision и accuracy, потому что по-русски обе называют точностью. Проще проговаривать формулу или английский термин, иначе половина ответа звучит как противоречие: «точность высокая, но точность низкая».
Подбирают порог и метрику на тестовой выборке, заглядывая в неё десяток раз. Порог настраивают на валидации, тест трогают один раз, иначе оценка завышена и на проде не воспроизводится. Сюда же попытка вытянуть метрику балансировкой классов без изменения решающего правила: распределение в обучении поменялось, а на проде осталось прежним, и калибровка вероятностей уехала.