Как устроена классификация ситуаций в системе видеонаблюдения
Что проверяют
Понимаете ли вы, что «классификация ситуации» почти никогда не одна модель, а конвейер: детекция, трекинг, логика над треками. Вопрос поведенческий, поэтому ждут рассказа о вашей системе и ваших решениях. Следом обычно спрашивают, как вы боролись с ложными срабатываниями.
Как отвечать
Опишите конвейер своего проекта по шагам и назовите, что было вашей зоной:
- вход: RTSP-поток, декодирование через FFmpeg или GStreamer, прореживание кадров, потому что 25 кадров в секунду с каждой камеры обычно не нужны;
- детекция: модели семейства YOLO или аналоги, дообученные на своих кадрах;
- трекинг: ByteTrack или DeepSORT, чтобы у объекта был идентификатор и траектория;
- ситуация: правила над треками (пересечение линии, нахождение в зоне дольше N секунд) или модель над клипом: 3D CNN, SlowFast, видеотрансформеры, либо оценка позы и классификатор по скелету для падений и драк;
- вывод: ONNX Runtime или TensorRT, на сервере или на edge-устройстве, плюс порог и подтверждение события по нескольким кадрам.
Метрику формулируйте на уровне события, а не кадра: точность и полнота по инцидентам и число ложных тревог на камеру в сутки. Именно вторая цифра решает, выключит ли оператор систему. Расскажите про данные: как размечали клипы, как собирали трудные негативы (тени, дождь, отражения), как делили выборку по камерам, чтобы не было утечки между train и test.
Приводите свои цифры: сколько камер, какая задержка, сколько ложных тревог было до и после доработки. Если такой системы вы не строили, скажите прямо и разберите, как спроектировали бы её, с теми же узкими местами.
Где спотыкаются
Отвечают «берём CNN и классифицируем кадр». Большинство ситуаций определяется временем и движением, по одному кадру «человек лежит» и «человек упал» не различить.
Делят данные случайно по кадрам. Соседние кадры почти одинаковы, метрика на тесте получается завышенной, а на новой камере модель проседает.
Забывают про юридическую сторону: распознавание лиц это обработка биометрических персональных данных, и в РФ для неё действуют отдельные требования 152-ФЗ. Кандидат, который предлагает «заодно идентифицировать всех», теряет очки.