Как устроена система видеонаблюдения и детектор аномалий
Что проверяют
Вопрос из разговора о вашем проекте: интервьюер хочет услышать, что вы видите систему целиком, от камеры до тревоги у оператора, и знаете её узкие места. Следом почти всегда спрашивают, как вы мерили качество детектора и сколько ложных срабатываний было в сутки.
Как отвечать
Опишите конвейер по стадиям и для каждой назовите, что использовали:
- приём потока: камеры отдают RTSP, декодирование через FFmpeg или GStreamer, на GPU через NVDEC или DeepStream. Кадры прореживают: анализировать все 25 в секунду обычно не нужно;
- детекция и трекинг: детектор объектов семейства YOLO или RT-DETR, поверх него трекер (ByteTrack, DeepSORT), который склеивает детекции в траектории;
- детектор аномалий: либо правила над треками (вход в запретную зону, человек стоит на месте дольше N минут, движение против потока), либо модель, обученная только на «нормальном» видео: автоэнкодер или предсказание следующего кадра, где аномалией считается большая ошибка. Для редких событий вроде драк берут слабую разметку на уровне ролика;
- выдача: событие с кадром уходит оператору, а его подтверждение или отклонение становится разметкой для дообучения.
Отдельно про инференс: на краю (Jetson) или на сервере, ускорение через TensorRT или ONNX Runtime, батчинг нескольких камер на одну GPU, задержка от события до тревоги.
Метрики: для детектора mAP, для аномалий AUC по кадрам и, главное для заказчика, число ложных тревог на камеру в сутки. Цифры нужны ваши. Если такого проекта не было, скажите прямо и проговорите, как бы строили систему: это честнее придуманного опыта.
Где спотыкаются
Называют Random Forest или K-Means на сырых кадрах. Без признаков или треков такие методы на видео не работают, и интервьюер это сразу слышит.
Меряют качество через accuracy. Аномальных кадров доли процента, и модель «всегда норма» получит высокую точность, оставаясь бесполезной.
Забывают про смену условий: ночь, дождь, сдвинутая камера. Модель нормы, обученная на дневном видео, ночью тревожит без конца, поэтому нужны отдельные пороги или дообучение по камерам.