Senior QA Automation Engineer в команду AI-агенты
2ГИС
Москва
🏢 Офис
Senior
Полная занятость
Описание вакансии
Привет! Мы — команда AI-агентов, и мы создаём агентов для пользователей (B2B, B2C). Например, агент при работе с картой или карточкой фирмы (Запись на услуги или ответы на вопросы по компании. Можно посмотреть пример тут).У нас в команде высокая скорость доставки фичей и релизного цикла, минимальный уровень бюрократии. При этом присутствуют все плюсы бигтеха.Сейчас мы ищем QA-инженера, который поможет нам донастроить процессы квалити гейтов и тестирования с помощью Copilot и внутренних AI-инструментов.
Чем предстоит заниматься
•Участвовать в проектах по разработке AI-ассистентов на базе API 2ГИС с текстовыми и голосовыми интерфейсами.
•Организовать и выстроить процесс тестирования AI-агентов.
•Организовывать и проводить различного рода тестирование (тест требований, ручное, функциональное, E2E, нагрузочное) AI-агентов на всем цикле разработки.
•Проводить нагрузочное тестирование, подготовку тестовых сценариев и данных.
•Активно использовать такие инструменты как Copilot в работе.
•Мониторить состояние систем и агентов на продакшн-среде, настраивать алертинг (основные алерты уже есть).
Ожидаем, что у вас есть
•Опыт формирования процесса тестирования продукта с высокой нагрузкой.
•Написание автотестов на Python (3+ года) и ручного тестирования.
•Опыт настройки CI/CD.
•Опыт нагрузочного тестирования на k6 или другого инструмента.
•Внимание к деталям и умение видеть общую картину.
Будет плюсом
•Понимание принципов работы LLM (токенизация, промпты).
•Знание архитектур AI агентов (ReAct, Tool Use, RAG, Multi-Agent).
•Опыт работы с LangChain или аналогичными фреймворками.
•Понимание недетерминированности AI систем и методов их контроля.
Наш стек и виды тестирования на проекте
•Langfuse. Трейсинг и мониторинг AI пайплайнов.
•Интеграционное тестирование. End-to-end сценарии с реальными API. Тестирование цепочек рассуждений агента. Проверка контекстной памяти и диалогов.
•Системное тестирование. Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API. Все реализовано на K6
•Safety Testing. Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных.
Почему у нас хорошо
•Сильная QA-вертикаль.
•Мы аккредитованная IT-компания.
•Полностью белая зарплата.
•Предоставляется ДМС, корпоративное обучение.
•Возможность работать удалённо или в одном из наших офисов: Москва, Санкт-Петербург, Новосибирск.
•Комфортные условия работы: современное оборудование, организованные встречи команды как онлайн, так и офлайн.
•Поддержка в профессиональном развитии: участие в конференциях, тренингах и публикациях на профильных ресурсах.
Будем рады развивать продукты вместе :)