Чем предстоит заниматься
Разработка и развитие агентов
Большой агент — это не одна модель, а набор компонентов: роутинг между сценариями, инструменты и их описания, поиск по внутренней базе знаний, работа с памятью и контекстом диалога, обработка ошибок и передача диалога человеку. Вы будете разрабатывать, дорабатывать и поддерживать эти компоненты — в первую очередь в телеком-агенте как самом крупном сценарии, — а также собирать с нуля новых агентов под другие профили. Отдельный пласт — надёжность: чтобы агент не галлюцинировал и не совершал действий, которых пользователь не просил
Исследование SOTA-подходов
Агентные системы — одна из самых быстро меняющихся тем в LLM: подходы к планированию, памяти, reflection и обучению агентов на собственном опыте выходят почти каждый день. Вы будете изучать новые методы, отбирать применимое к нашим сценариям и создавать собственные подходы
Проверка гипотез
Вам предстоит реализовывать свои гипотезы в виде прототипов полного цикла: от сбора и разметки данных до офлайн-оценки, A/B-теста на реальных пользователях и выката в прод
Оценка качества
Для агентов нет готовых метрик — их приходится строить самим. Вы будете разрабатывать симуляции диалогов, автоматических оценщиков (LLM-as-a-judge) и наборы сценариев, по которым видно, что новая версия агента действительно лучше предыдущей
Больше об ML в Яндексе — в канале Yandex for ML