Есть ли что-то специфическое в железе для запуска моделей в автомобиле
Что проверяют
Понимаете ли вы, что модель в машине живёт в других ограничениях, чем в облаке: ватты, тепло, реальное время и функциональная безопасность. Следом спросят, что вы сделаете с моделью, обученной на серверной видеокарте, чтобы она заработала на бортовом чипе.
Как отвечать
Идите от ограничений железа к последствиям для модели.
- специализированные SoC: автомобильные платформы вроде NVIDIA DRIVE, Qualcomm Snapdragon Ride, Mobileye EyeQ, TI Jacinto. Внутри CPU, GPU и NPU-ускорители, заточенные под INT8;
- энергия и тепло: бюджет в десятки ватт, охлаждение ограничено, при перегреве чип сбрасывает частоту;
- условия эксплуатации: компоненты автомобильного класса по AEC-Q100, работа от минус 40 °C, вибрации, срок службы машины больше десяти лет;
- безопасность: ISO 26262 с уровнями от ASIL A до ASIL D, для ML добавляется ISO 21448 (SOTIF). Отсюда резервирование, lockstep-ядра, отдельный safety-процессор, RTOS вроде QNX;
- реальное время: важна худшая задержка, а не средняя. Кадр с каждой камеры надо обработать до дедлайна.
Что это значит для ML-инженера:
- квантизация: INT8 через post-training или QAT, с проверкой качества на своих данных после конвертации;
- поддержка операторов: экспорт в ONNX и компиляция вендорным тулчейном, например TensorRT. Неподдержанный оператор уходит на CPU и ломает латентность;
- облегчение архитектуры: дистилляция, прунинг, общий энкодер на несколько задач;
- профилирование: только на целевом железе, а не на ноутбуке.
Если с автомобилями не работали, опирайтесь на близкое: Jetson, мобильный инференс через TFLite или Core ML.
Где спотыкаются
Отвечают «нужен мощный GPU». В машине упираются в ватты, тепло и сертификацию, а не в терафлопсы.
Считают, что модель переносится из PyTorch как есть. Без квантизации и проверки операторов она не соберётся или будет медленной, а качество после INT8 проседает на редких сценариях: ночь, дождь, засветка.
Меряют среднюю латентность. Для системы реального времени опаснее редкий всплеск задержки, чем стабильно чуть более медленная модель.