П
Middle AQA Python инженер
ПАО Сбербанк
Москва
🔄 Гибрид
Middle
Полная занятость
Корпорация
Россия
Fintech
Описание вакансии
Наша команда разрабатывает и поддерживает сберегательные продукты и сервисы на базе AI-агентов. Мы ищем тестировщика с опытом коммерческой разработки от 5 лет, уверенным владением автоматизацией на Python/Java и интересом к тестированию AI-решений, включая предиктивные модели и витрины данных.
Обязанности
•функциональное, интеграционное и регрессионное тестирование API-сервисов и AI-агентов
•написание на Python автотестов для проверки цепочек вызовов AI-агентов
•автоматизация оценки качества недетерминированных ответов AI-агентов
•выявление нарушений качества ответов AI-агентов на ранних этапах при изменениях версий
•разработка тестов для проверки корректности предиктивных моделей и рекомендательных алгоритмов (качество предсказаний, стабильность, отсутствие регрессий)
•оценка качества недетерминированных ответов с использованием статистических методов (сравнение распределений, обнаружение drift’ов)
•участие в построении тестов для A/B-экспериментов: проверка корректности групп, метрик качества
•разработка и поддержание актуальности тестовой документации
•статический анализ требований, макетов, спецификаций и кода при локализации дефектов
•анализ возникающих проблем, локализация ошибок, оформление дефектов и контроль их устранения
•подготовка тестовых данных
•участие в agile-мероприятиях (дейли, планирование, ретроспектива).
Требования
•опыт тестирования крупных сервисов с большим ветвлением
•опыт тестирования AI-агентов будет преимуществом
•опыт использования Python для анализа данных: pandas, numpy (валидация выборок, проверка срезов витрин
•знание теории тестирования, принципов разработки тестовой документации
•уверенное знание Python 3 (core, Pytest, pytest-asyncio, Selenium, Selenoid, httpx, allure), опыт автоматизации тестирования от 3 лет
•знание основ SQL, опыт работы с базами данных на уровне запросов с объединением нескольких таблиц, сортировки, группировки (Oracle, Postgres, MongoDB)
•основы CI/CD (Jenkins, GitLab CI/CD) для запуска тестов
•понимание принципов работы с LLM (на проекте используется GigaChat) и опыт интеграции с ними по API
•внятная грамотная речь, коммуникабельность, стрессоустойчивость.
Будет плюсом
•понимание банковской предметной области
•опыт работы с Java для поддержки legacy-автотестов (не основной инструмент, но приветствуется)
•опыт тестирования систем на основе ML/data-driven (проверка распределений предсказаний, метрик качества, отсутствия утечек данных)
•понимание метрик рекомендательных систем: Precision/Recall на уровне портфелей, coverage, NDCG (или аналогов)
•опыт работы с витринами и ETL-процессами: умение написать автотест, проверяющий консистентность данных между источником и витриной.
Условия
•гибкий формат работы
•годовой бонус и ежегодный пересмотр зарплаты
•расширенный ДМС с первого дня и льготное страхование для семьи
•корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
•офис на Кутузовской, зонами отдыха и спортзалом
•льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+ с возможностью совместного использования на трёх близких.