В чем разница между семантической сегментацией, инстанс-сегментацией и детекцией объектов

Что проверяют

Понимаете ли вы, чем отличается выход модели в каждой задаче и как это меняет разметку, архитектуру и метрики. Частый уточняющий вопрос: какую постановку вы бы выбрали для конкретного продукта и что такое паноптическая сегментация.

Как отвечать

Сравнивайте по тому, что модель возвращает:

• детекция объектов: для каждого объекта рамка (bounding box), класс и уверенность. Пиксельной маски нет. Модели: семейство YOLO, Faster R-CNN, DETR и его потомки. Метрика mAP, в COCO она усредняется по порогам IoU от 0.5 до 0.95;
• семантическая сегментация: класс для каждого пикселя, но без различения экземпляров. Две собаки рядом сливаются в одно пятно «собака». Модели: U-Net, DeepLab, SegFormer. Метрика mIoU по классам;
• инстанс-сегментация: отдельная маска на каждый объект, по сути детекция плюс маска внутри рамки. Классика Mask R-CNN, из современных Mask2Former и сегментационные версии YOLO. Метрика mask AP;
• паноптическая сегментация: объединение двух предыдущих. Каждый пиксель получает класс, у счётных объектов (things: люди, машины) ещё и номер экземпляра, а фон (stuff: небо, дорога) остаётся семантическим. Метрика PQ.

Дальше про практику. Разметка масок в разы дороже рамок, поэтому, если продукту нужно найти или посчитать объекты, детекции хватает. Сегментация нужна там, где важны форма и площадь: медицинские снимки, беспилотники, удаление фона. Упомяните и модели семейства SAM: они сильно ускоряют разметку масок, аннотатору остаётся кликнуть по объекту и поправить результат.

Где спотыкаются

Говорят, что инстанс-сегментация это «семантическая, только точнее». Разница не в точности, а в том, что у объектов появляются идентификаторы экземпляров.

Сравнивают модели разных задач одной цифрой, например mAP детектора с mIoU сегментатора. Это разные величины, они не сопоставимы.

Забывают про перекрытия. В семантической маске пиксель принадлежит ровно одному классу, а маски экземпляров могут перекрываться, и это надо учитывать при постобработке и подсчёте площадей.