Какую задачу решает тюнинг модели трансформера
Что проверяют
Понимаете ли вы, зачем дообучать уже обученную модель и чем это отличается от подбора гиперпараметров и от работы с промптом. Следом почти всегда спрашивают, когда вы выбрали бы дообучение, а когда RAG или просто хороший промпт.
Как отвечать
Предобученный трансформер знает язык в целом, но не знает вашей задачи, домена и нужного формата ответа. Тюнинг (fine-tuning) адаптирует его на небольшом размеченном наборе, и это на порядки дешевле обучения с нуля. Решает он три типа задач:
- новая задача: к энкодеру вроде BERT добавляют классификационную голову и дообучают на классификацию, NER, поиск похожих текстов;
- домен и стиль: модель привыкает к юридической или медицинской лексике, к тону и формату ответов компании;
- поведение: instruction tuning (SFT) учит следовать инструкциям, а выравнивание через RLHF или DPO учит выбирать предпочтительные ответы.
Про способы стоит сказать отдельно. Полное дообучение обновляет все веса и требует много видеопамяти. Методы PEFT замораживают базовую модель и обучают малую часть параметров: LoRA добавляет низкоранговые матрицы к линейным слоям, чаще всего к проекциям внимания, а QLoRA делает то же поверх модели, квантованной в 4 бита, и крупную модель можно дообучить на одной видеокарте. Инструменты: transformers, peft и trl из экосистемы Hugging Face.
Важная оговорка: дообучение хорошо меняет формат и поведение, но плохо и ненадёжно добавляет новые факты. Если модели нужно знать свежие документы компании, обычно правильнее RAG.
Где спотыкаются
Отвечают про подбор learning rate и размера батча. Это настройка обучения, а вопрос про то, зачем вообще дообучать готовую модель.
Не сравнивают с базовой моделью. Без замера исходного качества на той же валидации нельзя сказать, что тюнинг что-то дал.
Ставят слишком большой learning rate или гоняют много эпох на маленьком наборе. Модель переобучается и теряет общие навыки, это называют катастрофическим забыванием. Помогают малый шаг, ранняя остановка и PEFT, где базовые веса не меняются.