E
Middle QA Engineer (ML,LLM,RAG)
EvoAI
Москва
≈ до 3,1 тыс. $ · до 2,7 тыс. €
до 250 000 ₽
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Кто мы
EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов.
Основные обязанности
•Анализировать требования и критерии приемки, выявлять пробелы и риски до начала разработки.
•Подготавливать test plan, чек-листы, тест-кейсы, наборы тестовых данных и acceptance scenarios для закреплённых проектов.
•Проводить функциональное, интеграционное, системное, API, UI, E2E, smoke, sanity, regression и re-testing.
•Проверять корректность данных в БД, анализировать логи и взаимодействие с внешними сервисами.
•Фиксировать дефекты с воспроизводимыми шагами, ожидаемым и фактическим результатом, severity, evidence и связью с требованием.
•Поддерживать регрессионные наборы и обеспечивать готовность проекта к внутренней и клиентской приемке.
•Выполнять AI/LLM/RAG/agent testing по методике Senior: запускать eval-наборы, анализировать ошибки и формировать новые тестовые сценарии.
•Автоматизировать повторяемые API/UI/регрессионные проверки и подключать их к CI/CD под техническим руководством Senior.
•Помогать проектным командам использовать QA-шаблоны, проводить self-testing и корректно оформлять результаты.
•Участвовать в обучающих сессиях, office hours и ревью тестовых артефактов.
Обязательные профессиональные компетенции
База QA
•Практический опыт коммерческого тестирования от 3 лет.
•Знание техник тест-дизайна, жизненного цикла дефекта, уровней и видов тестирования.
•Умение самостоятельно декомпозировать требования в набор проверок и определять приоритет тестовых сценариев.
API, интеграции и данные
•Уверенное тестирование REST API через Postman, Swagger/OpenAPI или аналогичные инструменты.
•Работа с SQL на уровне выборок, проверок состояния данных и поиска причин несоответствий.
•Навык чтения логов и базовое понимание HTTP, JSON, авторизации, очередей и интеграционных взаимодействий.
Тестовая документация и процессы
•Умение писать понятные чек-листы, тест-кейсы, bug reports и test reports.
•Опыт работы с Jira/Confluence или аналогичными системами.
•Понимание DoR/DoD, acceptance criteria, smoke/regression suite и release checklist.
Автоматизация
•Базовые навыки программирования или скриптинга на Python, Java либо JavaScript/TypeScript.
•Опыт написания простых API- или UI-автотестов; готовность развиваться в автоматизации.
•Базовое понимание Git и CI/CD, способность запускать, анализировать и поддерживать автотесты.
AI QA
•Понимание особенностей LLM/RAG/agent testing и недетерминированного поведения моделей.
•Способность проводить разметку и анализ eval-наборов по критериям accuracy, relevance, completeness, groundedness и safety.
•Готовность проверять негативные, edge-case, fallback, tool calling и human handoff сценарии.
Коммуникация
•Умение аргументированно обсуждать дефекты с разработчиками и PM без формального подхода «передать баг и ждать».
•Готовность обучать коллег базовым QA-практикам и поддерживать внедрение стандартов в проектах.
Желательный опыт
•Опыт тестирования backend, микросервисов, AI-сервисов или проектов с большим количеством интеграций.
•Опыт с pytest, Playwright/Selenium, Newman, k6/JMeter или аналогичными инструментами.
•Навык работы с Docker и тестовыми окружениями.
•Опыт участия в клиентской приемке и сопровождении production-релизов.
Условия
•Удаленный формат работы с 09.00 до 18.00 по мск.
•Оформление по ТК РФ.
•Участие в ML-/LLM-проектах федерального уровня.
•Сильная команда, в которой есть возможность для реализации творческих идей и профессионального роста.
Технологии и навыки
Похожие вакансии
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение — прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).