Что такое intrinsic и extrinsic параметры камеры

Что проверяют

Понимаете ли вы модель камеры целиком, а не набор терминов. В задачах зрения от этого зависит, получите вы метры или только пиксели, и сможете ли связать камеру с другими сенсорами.

Как отвечать

Внутренние параметры описывают саму камеру с объективом: фокусные расстояния в пикселях, главную точку, иногда перекос осей. Они собираются в матрицу K и не зависят от того, где камера стоит. Коэффициенты дисторсии, радиальные и тангенциальные, к внутренним параметрам относятся, но в K не входят, это отдельная модель искажения.

Внешние параметры описывают положение: поворот R и сдвиг t, переводящие точку из мировой системы координат в систему координат камеры. Вместе получается проекция вида s * [u v 1]^T = K * [R | t] * [X Y Z 1]^T.

Практическая часть важнее формулы. Внутренние параметры находят калибровкой по шаблону с известной геометрией, после чего кадр можно выпрямить. Внешние находят по соответствиям точек, а калибровка пары камер даёт ещё и взаимное расположение, откуда берётся база стереопары и восстанавливается глубина. Для слияния камеры с лидаром нужны ровно те же внешние параметры.

Где спотыкаются

Пересказывают определения и не могут написать проекцию. Без неё не видно, что внутренние параметры действуют уже после перехода в систему камеры, а значит, менять порядок в цепочке нельзя.

Переносят калибровку на другое разрешение или на обрезанный кадр без пересчёта. Фокусные расстояния и главная точка заданы в пикселях, при изменении размера кадра их масштабируют, иначе картинка собирается, а измеренные расстояния систематически врут.

Путают направление преобразования. Поворот и сдвиг переводят мир в камеру, а поза камеры в мире это обратное преобразование, где поворот транспонируют, а сдвиг пересчитывают. Потерянное транспонирование даёт облако точек, уехавшее зеркально. Рядом живёт вторая ошибка: подать в решатель позы уже выпрямленные точки вместе с коэффициентами дисторсии и получить двойную коррекцию.