Разбирались ли вы с моделями детектирования

Что проверяют

Сначала уточните, о чём речь: детектирование объектов на изображении и детектирование аномалий или мошенничества это разные задачи с разными метриками. Умение задать этот вопрос само по себе плюс. Дальше смотрят, работали ли вы с постановкой, где положительный класс редкий, а цена ошибки несимметрична.

Как отвечать

Держите две ветки ответа наготове.

• Объекты на изображении: двухстадийные модели семейства R-CNN точнее, одностадийные вроде YOLO и SSD быстрее, есть безъякорные и трансформерные подходы. Качество меряется mAP при разных порогах IoU, предсказания чистятся подавлением немаксимумов, узкое место обычно в разметке и в дисбалансе фона.
• Аномалии и фрод: положительных примеров доли процента, поэтому accuracy бесполезна. Смотрят precision и recall, PR AUC, качество в верхних процентах ранжирования, потому что на ручную проверку уходит ограниченное число случаев.
• Порог: выбирается не по максимуму F1, а по цене ложного срабатывания против цены пропуска, и пересматривается, когда меняется поток.
• Валидация: разбиение по времени и по сущности, иначе транзакции одного клиента попадут и в обучение, и в тест.
• Эксплуатация: базовое решение для сравнения, мониторинг дрейфа, доля срабатываний и обратная связь от тех, кто разбирает алерты.

Где спотыкаются

Отчитываются по accuracy на сильном дисбалансе. Модель, всегда отвечающая «не мошенник», получает почти идеальную цифру и не ловит ничего.

Допускают утечку. Признак, посчитанный по всему периоду, или случайное перемешивание временного ряда дают отличную офлайн-метрику и провал в проде, а объяснить разрыв потом очень трудно.

Третье: называют прирост качества без базового уровня. Ответ про улучшение точности на пятнадцать процентов сразу тянет вопросы, с чем сравнивали, на какой выборке и что стало с полнотой, и там рассказ обычно заканчивается.