Что такое архитектура ViT (Vision Transformer)?
Что проверяют
Понимаете ли вы, как трансформер вообще применяется к картинке, и видите ли цену этого решения. Для инженера по данным важна не схема из статьи, а способность сказать, когда такая модель уместна, сколько ей нужно данных и во что она упирается на больших разрешениях.
Как отвечать
Картинка режется на патчи фиксированного размера, каждый патч разворачивается в вектор и линейно проецируется в эмбеддинг. Технически это свёртка с ядром и шагом, равными размеру патча.
К патчам добавляются позиционные эмбеддинги, иначе self-attention не отличит верх от низа: он инвариантен к порядку токенов. В классическом варианте в начало последовательности ставится обучаемый служебный токен [CLS], его выход и уходит в голову классификации.
Дальше стандартный энкодер трансформера: блоки из многоголового внимания и полносвязной части, нормализация перед каждым подблоком, остаточные связи. Разрешение по слоям не меняется, иерархии карт признаков как в свёрточных сетях здесь нет.
Про цену стоит сказать отдельно: внимание квадратично по числу патчей. Уменьшение патча вдвое даёт вчетверо больше токенов и примерно в шестнадцать раз больше работы во внимании.
Про данные: априорных допущений мало, локальности и трансляционной инвариантности в архитектуре нет, поэтому на малых выборках без предобучения или сильных аугментаций она проигрывает свёрточным сетям.
Где спотыкаются
Забывают позиционные эмбеддинги и на вопрос, что будет при перемешивании патчей, отвечают, что сеть справится. Без позиционной информации модель видит мешок патчей. Там же лежит вторая ловушка: при смене разрешения входа эти эмбеддинги нужно интерполировать, иначе веса не подходят.
Называют лёгкость работы с длинными последовательностями преимуществом. Всё наоборот: квадратичная сложность внимания это главное ограничение, ради обхода которого и придумали иерархические и оконные варианты.
Утверждают, что такая архитектура везде сильнее свёрточных сетей. Преимущество проявляется на больших объёмах предобучения, а на скромном датасете и ограниченном бюджете хорошая свёрточная сеть остаётся разумным выбором.