Какие архитектуры используются для сегментации?
Что проверяют
Первым делом смотрят, уточните ли вы, о какой сегментации речь: разметка изображения по пикселям или разбиение клиентов на группы. Под «архитектурами» чаще имеют в виду компьютерное зрение. Следом спрашивают про функцию потерь и метрику, особенно когда объекты занимают малую долю кадра.
Как отвечать
Сначала задачи: семантическая сегментация (класс для каждого пикселя), instance (объекты одного класса различаются), panoptic (обе сразу). Затем архитектуры:
- FCN: полностью свёрточная сеть, первая схема, где классификатор превратили в попиксельный предсказатель;
- U-Net: энкодер-декодер со skip connections, которые возвращают в декодер мелкие детали. Стандарт в медицине, неплохо работает на небольших датасетах;
- DeepLab (v3, v3+): расширенные (atrous) свёртки и модуль ASPP для контекста разного масштаба без потери разрешения;
- PSPNet и FPN: пирамиды признаков для объектов разного размера;
- Mask R-CNN: добавляет к детектору Faster R-CNN ветку маски, классика instance-сегментации;
- трансформеры: SegFormer, Mask2Former с единой схемой для всех трёх задач;
- SAM (Segment Anything): сегментирует по подсказке (точка, рамка) без дообучения, SAM 2 работает и с видео. Удобен для ускорения разметки.
Для реального времени есть лёгкие сегментационные модели семейства YOLO. Из инструментов: segmentation_models_pytorch, torchvision, MMSegmentation, Detectron2. Метрики: IoU, mIoU, Dice. Потери: кросс-энтропия, Dice loss, focal loss при дисбалансе классов, часто в комбинации. Энкодер берут предобученным.
Если речь о клиентах, это кластеризация (k-means, иерархическая, GMM, DBSCAN) поверх продуманных признаков вроде RFM, и разговор идёт про признаки, а не про архитектуры.
Где спотыкаются
Отвечают про k-means на вопрос о сегментации изображений или наоборот, не уточнив задачу.
Оценивают модель по попиксельной accuracy. Если фон занимает 95% кадра, модель, которая везде рисует фон, получит 95% и будет бесполезна.
Путают семантическую и instance-сегментацию и не могут объяснить, зачем в U-Net skip connections.