Почему сначала применяют детекцию, а не сразу сегментацию?
Что проверяют
Понимаете ли разницу между задачами, а не между модными названиями, и умеете ли обосновать порядок шагов стоимостью разметки и вычислений. Заодно смотрят, не считаете ли вы, что детекция обязательна всегда: это неверно.
Как отвечать
Сначала развести задачи. Детекция даёт рамку и класс, то есть отвечает, где объект и сколько их. Семантическая сегментация красит каждый пиксель классом, но не различает два соседних объекта одного класса. Экземплярная сегментация даёт отдельную маску на каждый объект.
Дальше честно: порядок зависит от задачи, и «сначала детекция» это не закон, а частый инженерный компромисс. Каскад из детекции и сегментации внутри рамки выигрывает по четырём причинам.
- Разметка. Рамка стоит в разы дешевле пиксельной маски, и на старте проекта детекционный датасет собрать реально, а сегментационный нет.
- Разрешение. Если объект занимает малую долю кадра, сеть по полному кадру видит его в считанных пикселях. Кроп по рамке возвращает детали, и качество маски растёт.
- Вычисления. Тяжёлая модель работает по небольшому кропу, а не по всему кадру, что решает на устройстве.
- Разбор ошибок. Видно, где сломалось: не нашли объект или плохо обвели.
И сразу оговорить, когда детекция не нужна: для семантической задачи (дорога, небо, дефект на поверхности) рамка бессмысленна, а современные однопроходные и трансформерные модели экземплярной сегментации выдают маски сразу, без отдельного детектора.
Где спотыкаются
Называют сегментацию «более точной детекцией». Это разные выходы и разные метрики: совпадение рамок против совпадения масок, и модель, хорошая по рамкам, вполне может давать рваные маски.
Забывают, что ошибки каскада перемножаются. Объект, пропущенный детектором, сегментация уже не вернёт, поэтому на первом шаге берут низкий порог и добирают полноту, жертвуя точностью.
Третье: обучают сегментацию на идеальных кропах по разметке, а в бою подают кропы от детектора. Распределение смещено, и качество проседает. Кропы для обучения нужно брать с теми же дефектами рамки, вплоть до случайного дрожания координат.