Что добавляет BERT к архитектуре трансформера
Что проверяют
Понимаете ли вы, что BERT это не новая архитектура, а половина трансформера плюс схема предобучения. По ответу сразу видно, разбирались ли вы в устройстве модели или пересказываете обзорные статьи.
Как отвечать
Соберите ответ по пунктам.
- Берётся только стек энкодеров, декодер отброшен. Отсюда внимание видит последовательность целиком, в обе стороны, и авторегрессионной генерации нет.
- Маскированное языковое моделирование. Обычная языковая модель с двунаправленным вниманием выродилась бы в подглядывание, поэтому часть токенов (около пятнадцати процентов) закрывают и учат восстанавливать по контексту. Из выбранных примерно восемьдесят процентов заменяют на
[MASK], десять на случайный токен, десять оставляют как есть, чтобы модель не привыкала к самому факту маски. - Предсказание следующего предложения. Вторая задача предобучения: идёт ли второй фрагмент действительно за первым. Позже показали, что пользы от неё почти нет, и в RoBERTa её убрали.
- Вход. Токенизация WordPiece, служебные токены
[CLS]и[SEP], представление токена складывается из трёх эмбеддингов: собственно токена, сегмента и позиции, причём позиционные обучаемые, а не синусоидальные. Длина входа ограничена. - Схема работы. Предобучение на сыром тексте, затем дообучение под задачу небольшой головой поверх
[CLS]для классификации или поверх всех токенов для разметки сущностей.
Где спотыкаются
Говорят, что BERT это трансформер с энкодером и декодером, или что им можно генерировать текст. Это энкодерная модель, она выдаёт представления; для генерации берут декодерные или модели вида последовательность в последовательность.
Понимают двунаправленность как два прохода, слева направо и справа налево, по аналогии с двунаправленной LSTM. В BERT прохода нет вовсе: внимание с самого начала видит всю последовательность, и цена этого как раз маскирование.
Берут вектор [CLS] из предобученной модели как готовый эмбеддинг предложения и удивляются качеству. Без дообучения он часто хуже обычного усреднения токенов и заметно хуже моделей, специально обученных под сходство предложений.