Что хотели достичь в задаче детекции служебной одежды

Что проверяют

Умеете ли вы переводить задачу заказчика в метрику и порог. Спрашивают про цель, а не про модель, и смотрят, начнёте ли вы с названия архитектуры или с того, какое решение принимается по срабатыванию системы.

Как отвечать

Сначала цель словами заказчика: сократить нарушения формы в цехе и снять с человека ручной просмотр камер. Дальше перевод в измеримое.

Что считается событием. Не кадр, а человек без нужного элемента формы дольше порога времени в зоне, где этот элемент обязателен. Кадры склеиваются трекингом в одно событие, иначе метрика считает одно и то же нарушение много раз.

Метрики. Для детектора привычная средняя точность по порогу перекрытия рамок, но целевая пара другая: полнота по нарушениям при удерживаемой точности. Рядом операционная величина, ради которой всё делается, это число ложных тревог на камеру за смену: если их много, оператор перестаёт смотреть ленту, и система бесполезна при любом качестве модели.

Порог. Выбирается из цены пропуска против цены ложной тревоги, а не из красоты кривой.

Ограничения задачи стоит назвать сразу: разный ракурс и свет по камерам, перекрытия, мелкий объект на кадре. Отсюда двухступенчатая схема с детектором человека и классификацией признаков на вырезе, а выборка делится по камерам и сменам.

Где спотыкаются

Отвечают долей правильных ответов без уточнения, что считали и на чём. При редких нарушениях такую долю даёт модель, которая всегда отвечает, что всё в порядке, поэтому нужны полнота, точность и способ их подсчёта.

Меряют по кадрам. Соседние кадры одной сцены почти одинаковы, качество выглядит завышенным, а бизнес считает события и тревоги, и на них картина другая.

Забывают про внедрение. Не обсуждают, кто разбирает ленту срабатываний, что делать с приватностью съёмки людей и как система переучивается при смене формы или сезонной одежды.