QA Engineer / LLM Evaluation

Ориентир по рынку≈ 250 000 – 425 000 ₽наша приблизительная оценка по 10 вакансиям этой роли и грейда, у работодателя вилка не указана

≈ 3,1 тыс.–5,2 тыс. $

ОфисMiddleПолная занятостьКорпорацияопубликовано 14 окт.

≈ 250 000 – 425 000 ₽наша приблизительная оценка

Описание

Разбор

Подготовить откликОтклик

История

Чем предстоит заниматься

Проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA

Тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов

Автоматизировать API- и UI-тесты

Проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок

Создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования

Формировать бенчмарки и метрики качества LLM-компонентов

Проверять воспроизводимость результатов и анализировать причины деградации качества

Участвовать в разборе дефектов и контролировать их исправление

Формировать quality gates для выпуска релизов

Организовывать валидацию результатов совместно с финансовыми экспертами

Наши требования

Опыт в роли QA от 2х лет

Понимание основных видов и методик тестирования

Опыт тестирования REST API

Базовые знания Python и готовность развиваться в автоматизации

Базовый SQL

Умение работать с логами и локализовывать источник ошибки

Понимание клиент-серверной и микросервисной архитектуры

Внимательность к деталям и способность системно описывать дефекты

Опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом

Глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда

Мы предлагаем

Комфортный современный офис рядом с м. Ленинский проспект

Гибридный формат работы

Ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Программа адаптации и помощь руководителя на старте (для вакансий уровня Junior)

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Подписка Прайм с возможностью совместного использования на трёх близких

Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента

Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов