Инженер по тестированию и оценке качества ИИ

🔄 ГибридJuniorПолная занятость

Зарплата не указана

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Зарплату не указали, и сравнить её пока не с чем. О деньгах лучше спросить до собеседования.

1 из 4 в норме

Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона

Описание вакансии

Основная задача

Ответственность за качество ИИ-решений: определение критериев приёмки, контроль качества и принятие окончательного решения о допуске релизов в промышленную эксплуатацию.

Обязанности

Развитие EvalOps: автоматизированные прогоны, регрессионные проверки, встраивание в CI/CD;

Подготовка эталонных выборок и разработка детерминированных проверок совместно с экспертами;

Настройка LLM-as-a-Judge и калибровка оценок;

Анализ трасс выполнения, определение источников ошибок, воспроизведение и проверка дефектов;

Проверка вызовов инструментов, параметров и обработки ошибок;

Контроль регрессий после запуска и решение об откате;

Проверка устойчивости к prompt injection;

Разработка автотестов на Python (pytest, asyncio, SDD/TDD).

Требования

Уверенное владение Python для разработки автотестов и обработки результатов (pytest, httpx, asyncio), знание SQL;

Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок;

Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать весь сценарий выполнения задачи, включая действия и итоговые артефакты;

Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, необходимости повторных прогонов и сопоставимых условий сравнения;

Умение сочетать детерминированные проверки и LLM-as-a-Judge, проверять качество самого оценщика и разбирать ошибки валидаторов;

Обязательный практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений;

Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD;

Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками;

Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection является преимуществом.

Условия

Стабильный «белый» доход и полноценный соц. пакет;

График работы - 5/2 c 9 00 до 18 00;

Возможен гибридный формат работы (обсуждаем индивидуально с каждым кандидатом);

Корпоративный университет для внутреннего и внешнего профильного обучения;

Отличные перспективы карьерного роста – горизонтального и вертикального.

А также для Вас

Программа ДМС с обслуживанием в лучших клиниках города;

Корпоративные команды по футболу, волейболу, бегу, а также скидки на фитнес-абонементы;

Эксклюзивная программа корпоративных привилегий и скидок Primezone;

Корпоративная мобильная связь.