Чем предстоит заниматься
Создание новых наборов данных
Разнообразие вопросов к LLM растёт. Но модели, которые щелкают математику как орешки, могут плохо справляться с задачами из других областей. Чтобы повысить качество рассуждений и ответов, необходимы данные различных уровней сложности и тематик. Вы сможете задействовать свои профессиональные компетенции, создавая подобные наборы задач
Улучшение функций награды
В эффективном обучении модели навыкам ризонинга ключевую роль играет функция награды. Благодаря ей модель учится выбирать корректные стратегии — скажем, выстраивать более лаконичные цепочки рассуждений, не снижая качества ответа. Однако в задачах, где результат непросто верифицировать (в отличие от, например, программирования или математических расчётов), создание такой функции становится серьёзным испытанием. Вашей задачей будет разработка надёжной функции награды
Развитие процедуры обучения
Оптимальная конфигурация обучения рассуждающих моделей — открытый исследовательский вопрос. Существуют различные направления для экспериментов: on-policy- и off-policy-обучение, адаптивное управления энтропией модели, способы расчёта advantage. Также требует внимания выбор подходящего функционала для минимизации, например, для Dense- и MoE-архитектур. Вы будете проводить подобные исследования и находить лучшие настройки для достижения поставленных целей
Больше об ML в Яндексе — в канале Yandex for ML