Как делятся команды и их задачи в perception и принятии решений
Что проверяют
Вопрос встречается в компаниях, которые делают беспилотный транспорт и роботов, и звучит с обеих сторон стола. Интервьюер проверяет, понимаете ли вы, как устроен стек автономной системы и где проходят границы между командами. Следом обычно спрашивают, в какой части стека вы видите себя и как измерять качество своей части.
Как отвечать
Опишите цепочку модулей, по которой обычно и делятся команды:
- perception: детекция и сегментация по камерам, лидарам и радарам, слияние сенсоров (sensor fusion), трекинг. На выходе список объектов с координатами, скоростями и неопределённостью;
- локализация и карты: где находится машина и что вокруг по карте высокой точности;
- prediction: куда двинутся другие участники движения в ближайшие секунды, обычно несколько гипотез с вероятностями;
- planning и принятие решений: выбор манёвра и траектории с учётом правил, безопасности и комфорта;
- control: превращение траектории в команды руля, газа и тормоза.
Вокруг стоят сквозные команды: данные и разметка (включая авторазметку и поиск редких сценариев в логах), симуляция, ML-инфраструктура для обучения и оценки. Главная мысль ответа: команды связаны контрактом на интерфейсе, и рост метрики perception, например mAP, ценен только если улучшает поведение планировщика. Поэтому зрелые команды меряют и модульные, и системные метрики, в симуляции и на заездах. Упомяните тренд на end-to-end модели: граница между perception и planning размывается, и это меняет саму структуру команд.
Если вопрос задаёте вы, слушайте, кто владеет интерфейсом между командами, как устроены общие метрики и сколько времени уходит на данные, а не на модели.
Где спотыкаются
Отвечают абстрактно: «одни собирают данные, другие принимают решения». Без модулей, входов и выходов это звучит как пересказ вакансии.
Считают perception чистым компьютерным зрением и забывают про лидары, радары, калибровку и синхронизацию сенсоров по времени.
Не думают о связке: хвалят рост точности детектора и не могут объяснить, как ложные срабатывания превращаются в резкие торможения.