Как реализовать распознавание лиц и отрисовку квадратиков на изображении из камеры

Что проверяют

Умеете ли вы собрать живой конвейер «камера, анализ кадра, отрисовка поверх превью» на актуальном стеке и понимаете, где он ломается. Следом обычно спрашивают, как совместить координаты лица с экраном и что будет с производительностью на слабом устройстве.

Как отвечать

Сначала уточните термин: найти лица на кадре это детекция, а понять, чьё лицо, уже распознавание. Для него нужна модель эмбеддингов (например, на LiteRT, бывший TensorFlow Lite) и база эталонов. Квадратики рисуют по результатам детекции.

Каркас на современном стеке:

• камера: CameraX, связка Preview для показа и ImageAnalysis для кадров. Стратегия по умолчанию STRATEGY_KEEP_ONLY_LATEST отбрасывает кадры, которые анализ не успевает обработать;
• детекция: ML Kit Face Detection, FaceDetectorOptions с PERFORMANCE_MODE_FAST для потока, кадр оборачивается через InputImage.fromMediaImage(image, rotationDegrees);
• результат: у каждого Face есть boundingBox, по желанию контуры и ключевые точки;
• отрисовка: своя View поверх PreviewView с canvas.drawRect в onDraw, в Compose это Canvas в том же Box;
• разрешение: CAMERA запрашивается в рантайме через ActivityResultContracts.RequestPermission.

Главная техническая часть: перевод координат. Рамка приходит в системе координат кадра анализа, у которого своё разрешение и поворот, а превью масштабируется под экран. Нужно учесть поворот, масштаб, обрезку FILL_CENTER и зеркалирование фронтальной камеры. Проще отдать это MlKitAnalyzer из camera-mlkit-vision с COORDINATE_SYSTEM_VIEW_REFERENCED: он вернёт рамки уже в координатах PreviewView.

Где спотыкаются

Не закрывают ImageProxy после обработки. Анализатор ждёт закрытия кадра, поток останавливается после первого же, и выглядит это как «детектор завис».

Рисуют рамки прямо в координатах кадра. На экране они смещены и растянуты, а на фронтальной камере двигаются в противоположную сторону.

Предлагают Mobile Vision (play-services-vision) и CameraSource из старых туториалов. Этот API давно объявлен устаревшим, на смену ему пришёл ML Kit.