Старший DL-разработчик в команду ризонинга

Ориентир по рынку≈ 178 000 – 252 000 ₽наша приблизительная оценка по 141 вакансии этой роли и грейда, у работодателя вилка не указана

≈ 2,2 тыс.–3,1 тыс. $

🔄 ГибридMiddleПолная занятостьКорпорация

≈ 178 000 – 252 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Смущает только, что вакансия висит давно.

2 из 4 в норме

Висит давно: что спросить, чтобы не откликаться в пустоту

Наша компания

Наша команда работает над развитием ризонинга у генеративных моделей Alice AI LLM. Мы стремимся научить модели действовать, как человек: составлять план решения, проверять разные подходы и верифицировать ответ. Многомиллионная аудитория Алисы уже оценила пользу этой технологии при помощи режима «Рассуждать». В работе мы основательно подходим к инженерии данных на всех стадиях. Наша цель — не только научить модель решать сложные математические задачи, но и сделать её полезной для решения широкого круга проблем. Для этого мы используем самые последние наработки из области Reinforcement Learning

Чем предстоит заниматься

Создание новых наборов данных

Разнообразие вопросов к LLM растёт. Но модели, которые щелкают математику как орешки, могут плохо справляться с задачами из других областей. Чтобы повысить качество рассуждений и ответов, необходимы данные различных уровней сложности и тематик. Вы сможете задействовать свои профессиональные компетенции, создавая подобные наборы задач

Улучшение функций награды

В эффективном обучении модели навыкам ризонинга ключевую роль играет функция награды. Благодаря ей модель учится выбирать корректные стратегии — скажем, выстраивать более лаконичные цепочки рассуждений, не снижая качества ответа. Однако в задачах, где результат непросто верифицировать (в отличие от, например, программирования или математических расчётов), создание такой функции становится серьёзным испытанием. Вашей задачей будет разработка надёжной функции награды

Развитие процедуры обучения

Оптимальная конфигурация обучения рассуждающих моделей — открытый исследовательский вопрос. Существуют различные направления для экспериментов: on-policy- и off-policy-обучение, адаптивное управления энтропией модели, способы расчёта advantage. Также требует внимания выбор подходящего функционала для минимизации, например, для Dense- и MoE-архитектур. Вы будете проводить подобные исследования и находить лучшие настройки для достижения поставленных целей

Больше об ML в Яндексе — в канале Yandex for ML