Python-разработчик (AI Evaluation)
1С
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Ищем Python-разработчика в команду AI. Предстоит разрабатывать систему оценки качества AI-агентов: оценка агентских траекторий и достижения целей, управление и создание (в том числе автоматическое\автоматизированное) тестовых сценариев, автоматизировать сбор и обработку обратной связи, помогать делать агентные системы надежнее.
Задачи
•Разрабатывать систему оценки качества AI-агентов
•Создавать тестовые сценарии и методики проверки
•Разрабатывать метрики качества
•Автоматизировать тестирование агентных систем
•Анализировать результаты и улучшать процессы контроля качества
Стек технологий
•Python, Docker, агентные среды для разработки (Opencode и др.)
Что важно
•Опыт коммерческой разработки на Python от 3х лет
•Опыт работы с LLM или AI-агентами
•Понимание принципов оценки качества AI-систем
•Аналитический склад мышления
Будет плюсом
•Опыт построения AI Evaluation / LLM Evaluation
•Знание CI/CD и автоматизации тестирования
Условия
Гибридный формат: 3 дня в офисе, остальные — удаленно.
Офис рядом с м. Тимирязевская (удобно добираться, есть парковка).
В офисе столовая, тренажерный зал.
Сделаем ДМС после испытательного срока.