Какие основные подходы и архитектуры трансформеров существуют
Что проверяют
Ориентируетесь ли вы в семействе моделей или знаете два слова, BERT и GPT. Вопрос диагностический: по ответу видно, читали ли вы что-нибудь после 2019 года. Следом просят объяснить, почему для классификации берут энкодер, а для генерации декодер, и как устроено внимание.
Как отвечать
Начните с деления по тому, какая часть исходной архитектуры взята:
- энкодер: BERT, RoBERTa, DeBERTa-v3, из свежих ModernBERT. Двунаправленное внимание, обучение на восстановлении замаскированных токенов. Отсюда задачи с вектором всего текста: классификация, NER, поиск и ранжирование;
- декодер: GPT, Llama, Qwen, Mistral. Причинное внимание и предсказание следующего токена, отсюда генерация. Сегодня основная линия развития, поверх идут инструкционное дообучение и выравнивание (RLHF, DPO);
- энкодер-декодер: T5, BART, mT5. Естественны там, где вход и выход это разные последовательности: перевод и суммаризация.
Дальше про то, чем современный блок отличается от статьи 2017 года: абсолютное позиционное кодирование заменил RoPE, нормализация переехала перед вниманием и стала RMSNorm, вместо обычного FFN стоит SwiGLU, а число KV-голов сократили через grouped-query attention, чтобы кэш при генерации помещался в память. Считать это помогает FlashAttention, не материализующий матрицу внимания целиком.
Назовите направления вширь: разреженные модели со смесью экспертов (Mixtral, DeepSeek, Qwen3), где на токен активируется малая доля весов; длинный контекст через масштабирование RoPE; ViT, который режет картинку на патчи и подаёт как токены, и мультимодальные сборки поверх; гибриды с моделями пространства состояний вроде Mamba, снимающие квадратичность.
Где спотыкаются
Останавливаются на «BERT читает в обе стороны, GPT генерирует». Это уровень 2019 года, а дальше пойдут уточнения, на которые нечем ответить.
Забывают, что сложность внимания квадратична по длине последовательности. Именно поэтому длинный контекст стоит дорого и появились ухищрения с кэшем и оконным вниманием.
Путают предобучение и дообучение: «модель обучили на инструкциях с нуля». Инструкционная настройка это тонкий слой поверх предобучения, и данных там на порядки меньше.