AI Test Automation Engineer

🌍 УдалённоSeniorПолная занятостьАнглийский C1

Зарплата не указана

Хорошие условия

Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

Новео, удаленно Мы — международная IT-компания НОВЕО. С 2002 г. занимаемся проектами по заказной разработке ПО для западноевропейского рынка.

Чем предстоит заниматься

Разрабатывать и развивать фреймворки автоматизированного тестирования (PyTest, Playwright, k6) для четырех AI-продуктов, обеспечивая прохождение автоматических проверок качества (quality gates) для каждого Pull Request и canary-развертывания в Kubernetes-кластере Nebius

Отвечать за критерии автоматического отката (rollback) AI-моделей, качество canary- и A/B-развертываний, а также ежедневно анализировать и устранять проблемы в Kubernetes-кластере с использованием kubectl

Разрабатывать комплексные стратегии end-to-end тестирования, охватывающие API-контракты, обработку потоковых событий (event streams) и моделирование сценариев взаимодействия пользователей через различные каналы связи, включая LiveKit, PSTN и WebRTC

Создавать инструменты для оценки качества LLM-моделей, включая LLM-as-a-Judge, rubric-based scoring, выявление аномалий (anomaly detection), а также тестирование защитных механизмов (guardrails) для обнаружения предвзятости (bias), галлюцинаций (hallucinations), токсичного контента (toxicity) и утечек персональных данных (PII) на всех поддерживаемых языках

Совместно с командами R&D и ML Engineering разрабатывать датасеты

Наши требования

Опыт написания production-ready автотестов на Python (PyTest) и TypeScript (Playwright) — чистый, читаемый, поддерживаемый код, проходящий code review

Практический опыт разработки или внедрения подходов к оценке качества LLM/AI-моделей (LLM evaluation): LLM-as-a-Judge, rubric-based scoring, semantic similarity или аналогичных методов

Опыт работы с CI/CD в облачной инфраструктуре: использование canary-релизов, автоматических quality gates и механизмов автоматического отката (rollback) при возникновении проблем

Опыт определения, измерения и контроля SLO (Service Level Objectives) для AI/ML-сервисов, включая такие показатели, как latency, accuracy and reliability, а также автоматизации контроля этих метрик

Опыт совместной работы с ML-инженерами: понимание особенностей работы с датасетами, результатами инференса моделей и метриками оценки качества (evaluation metrics)

Уверенный письменный и разговорный английский язык (B2+ , C1)