Какие методы файнтюнинга моделей известны
Что проверяют
Понимаете ли вы, что файнтюнинг это дообучение уже обученной модели на своих данных, а не любая настройка гиперпараметров. Вопрос поведенческий, значит, ждут и ваш опыт: что дообучали, на каком железе, чем мерили результат. Следом спрашивают, почему выбрали LoRA, а не полное дообучение, или почему не обошлись RAG.
Как отвечать
Методы удобно выстроить по числу обучаемых параметров:
- извлечение признаков и linear probing: основа заморожена, учится только новая голова. Быстро и на малых данных, но глубокой адаптации нет;
- полное дообучение: обновляются все веса с маленьким learning rate. Максимум качества, максимум памяти и риск катастрофического забывания. Помогают постепенная разморозка и разные скорости обучения по слоям;
- PEFT: учится малая доля параметров. LoRA добавляет к матрицам весов низкоранговые поправки и обучает только их, QLoRA делает то же поверх базы, квантованной в 4 бита, и умещает крупные модели на одну GPU. Есть ещё адаптеры, prefix tuning и prompt tuning;
- для LLM: сначала SFT на парах «инструкция и ответ», затем выравнивание по предпочтениям. Классический RLHF с PPO всё чаще заменяют DPO и родственными методами, которым не нужна отдельная модель награды;
- дистилляция: большая модель учит маленькую, когда важны скорость и цена инференса.
Инструменты: transformers, peft и trl от Hugging Face (SFTTrainer, DPOTrainer). Опыт подавайте конкретно: базовая модель, объём датасета, ранг LoRA, метрика до и после, проверка на общих задачах, что модель не разучилась. Цифры только свои. Если в продакшене вы не дообучали, скажите честно и расскажите про учебный проект или про то, как решили задачу промптингом и RAG.
Где спотыкаются
Перечисляют регуляризацию, dropout и подбор гиперпараметров как методы файнтюнинга. Это приёмы обучения вообще, и такой ответ показывает, что термин непонятен.
Надеются добавить знания дообучением. Факты, которые часто меняются, надёжнее подавать через RAG, а файнтюнинг сильнее всего меняет формат, стиль и поведение.
Не проверяют забывание и переобучение на маленьком датасете. Метрика на своей валидации растёт, а на общих задачах модель заметно деградирует.