Какую задачу решает GPT
Что проверяют
Понимаете ли вы, что под всеми применениями лежит одна формальная задача, и не подменяете ли объяснение маркетингом. Вопрос отделяет того, кто разбирался в архитектуре, от того, кто просто пользовался продуктом. Следом спрашивают про отличие от BERT или про то, откуда берутся галлюцинации.
Как отвечать
Формально GPT решает одну задачу: предсказывает следующий токен по предыдущим, то есть авторегрессионно моделирует вероятность текста. Всё остальное сводится к ней.
- архитектура: декодер трансформера с причинным вниманием, каждый токен видит только левый контекст. Отсюда генеративность, в отличие от энкодерных моделей вроде BERT, заточенных под классификацию и извлечение;
- обучение: предобучение на корпусах, затем дообучение на инструкциях и выравнивание по человеческим предпочтениям. Второй этап превращает «продолжатель текста» в собеседника, который отвечает на просьбу, а не дописывает ещё десять похожих вопросов;
- сведение задач: перевод, суммаризация, классификация, извлечение сущностей, генерация кода это разные запросы к одной модели. Обучение внутри контекста задаёт задачу примерами, не трогая веса;
- что важно на практике: длина контекста, вызов инструментов, структурированный вывод по схеме, режимы с рассуждением перед ответом, мультимодальный вход. Свежие факты подтягивают поиском и RAG, стиль и формат ставят дообучением;
- чего модель не делает: не хранит проверяемую базу фактов и не оценивает истинность. Она оценивает правдоподобие продолжения, поэтому уверенная выдумка для неё такой же валидный текст.
Хорошо закончить границей применимости: там, где нужен проверяемый и воспроизводимый результат, модель это помощник под контролем, а иногда неподходящий инструмент.
Где спотыкаются
Отвечают списком применений («пишет тексты, отвечает на вопросы») и не могут назвать задачу обучения. А она объясняет и силу, и ограничения.
Говорят, что модель «ищет ответ в интернете». Без инструмента поиска она работает только с весами и с тем, что попало в контекст.
Называют галлюцинации багом, который скоро починят. Это следствие вероятностной генерации: его снижают поиском и проверками, но не выключают флагом.