Что такое языковая модель
Что проверяют
Умеете ли вы дать точное определение без лишнего пафоса и понимаете ли, откуда берётся генерация. За коротким вопросом обычно идёт цепочка: чем предобучение отличается от дообучения, почему модель уверенно выдумывает, как мерить качество. Ответ уровня «нейросеть, которая понимает язык» эту цепочку обрывает сразу.
Как отвечать
Языковая модель задаёт распределение вероятности следующего токена при заданном контексте, а произведение по цепочке даёт вероятность всей последовательности. Обучение самоконтролируемое: размечать ничего не нужно, целевой ответ это сам текст.
Дальше стоит развести две цели обучения. Авторегрессионная предсказывает следующий токен по левому контексту и годится для генерации, маскированная восстанавливает скрытый токен по контексту с обеих сторон и даёт хорошие представления для классификации и поиска.
Единица не слово, а токен из словаря подслов, поэтому редкие слова и числа режутся на куски. Генерация это выбор из распределения: температура, отсечение по вероятности, жадный выбор даёт скучные повторы. Качество на отложенной выборке меряют перплексией, прикладное качество только задачными метриками. Поверх предобучения идут инструктивное дообучение и выравнивание по предпочтениям людей.
Где спотыкаются
Говорят, что модель понимает смысл, либо ровно наоборот, что это база текстов с поиском. Ни то ни другое: документов внутри нет, есть параметры, и именно поэтому она уверенно выдаёт правдоподобную неправду.
Называют предобучение обучением с учителем, раз уж есть правильный ответ. Разметки нет, ответ берётся из самого текста, и это принципиально: отсюда возможность учиться на любых доступных корпусах.
Меряют пользу перплексией и не могут сказать, как проверить задачу. Для генерации нужна оценка людьми или сравнение вариантов на своей выборке. Рядом забывают про длину контекста и про то, что токенизация ломает арифметику и работу с длинными числами.