QA Automation Engineer (AI Voicebot)

evrone.ru

Москва

≈ до 3,6 тыс. $ · до 3,1 тыс. €

до 280 000 ₽

🏢 Офис

Middle

Полная занятость

Россия

Описание вакансии

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel)

Сейчас мы находимся в поиске QA Automation Engineer на AI-проект. Подробнее про позицию:

•Проект: Voice AI Platform (название под NDA).

•Платформа для создания AI-ассистентов, которые общаются с пользователями по телефону и через web в режиме реального времени. Объединяет LLM, Speech-to-Text, Text-to-Speech и Voice AI в единый пайплайн. Используется для автоматизации клиентской поддержки, продаж и других сценариев коммуникации.

•Команда - около 10 QA Engineers (Middle, Senior + QA Lead) в тесной связке с Backend, ML, DevOps и Platform Engineers.

•Зона ответственности команды - качество четырех AI-продуктов компании. Команда развивает автоматизацию тестирования, систему оценки LLM, процессы канареечных релизов и quality gates. Также отвечает за SLO Voice AI-пайплайна и качество production-релизов.

Что делать

•разработка и поддержка фреймворков автоматизации на PyTest и Playwright;

•тестирование API, Voice AI и event-driven сценариев;

•оценка качества LLM (LLM-as-a-Judge, Rubric-based Evaluation);

•сопровождение canary release, A/B testing и rollback;

•контроль SLO AI-сервисов;

•работа с Kubernetes и production-окружением;

•взаимодействие с ML-командой по качеству моделей и датасетов.

•Стек: Python, PyTest, TypeScript, Playwright, k6, Kubernetes, Docker, GitLab CI/CD, Nebius AI Cloud, Azure, WebRTC, LiveKit, SIP, Linux, GenAI.

Какой опыт для нас важен

•Automation QA. От 3-х лет

•Python, PyTest, Playwright, TypeScript;

•CI/CD, canary release и quality gates;

•AI / LLM

•Тестирования AI/LLM-продуктов или систем оценки моделей;

•Понимание LLM-as-a-Judge, Rubric-based Evaluation или аналогичных подходов;

•Понимание SLO/SLI для AI-сервисов;

•Разговорный английский. Коммуникация с членами команды будет идти на английском;

Будет плюсом опыт с

•Kubernetes и Linux;

•k6 или другие инструменты нагрузочного тестирования;

•WebRTC, SIP, LiveKit или телефония;

•Nebius AI Cloud или другие GPU Cloud-платформы;

•MLOps и ML-инфраструктурой.

Этапы интервью

•HR Interview (Soft-skills, eng-checking, motivation, etc);

•Evrone Tech-interview;

•Project Tech-interview (on english);

•Project Manager interview (soft-skills, culture-fit, on english).

Почему Evrone

•Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов.

•Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам.

•Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf.

•Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине.

•Про наши последние проекты можно почитать тут: evrone.ru/technologies/golang

Что предлагаем

•Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой;

•Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков;

•Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе;

•Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии.

•Наши разработчики работают только над одним проектом. Без постоянных переключений между ними.

Одна из ценностей Evrone – работа с удовольствием.

Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на:

•ДМС и здоровье;

•Спорт и абонемент для фитнеса или инвентарь для спорта;

•Курсы иностранного языка;

•Техника для работы и улучшение рабочего места;

•Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции.

Бонусы и премии

•Повышение зарплаты по мере роста компетенций (по результатам ассессмента);

•Премии за привлечение новых сотрудников и новых клиентов;

•Дополнительная премия за выступления на конференциях и митапах;

•У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается.

Обучение и рост компетенций

•Проводим митапы. Вы можете быть как и слушателем, так и спикером;

•У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник;

•Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge;

•Есть внутренняя библиотека с электронными книгами и записанными курсами;

•Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский.

Возможность стать докладчиком или автором

•Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом.

•Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада;

•У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы;

•Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата.

Возможность прокачаться в Open Source

•Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии;

•Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили.

•Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr.

Отдых и развиртуализация

Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.