WorkaemКарьерная платформа
  • Вакансии
  • Компании
  • Зарплаты
  • Офферы
  • Сервисы
  • Блог
  • Работодателям
Workaem

Карьерная платформа для IT-специалистов: вакансии напрямую с карьерных страниц 300+ компаний, из телеграм-каналов, с международных площадок и от работодателей напрямую. Разбор условий, детектор мёртвых вакансий, AI-инструменты для резюме. Базовые функции бесплатны.

Подпишись, присылаем лучшие вакансии недели
Или читай канал в телеграме
Соискателям
Все вакансииЗа границейУдалёнка в долларахКомпании с РУ основателямиЗарплатыОфферыВозможностиСоветыСоздать резюмеТренировка интервью
По технологиям
Вакансии PythonВакансии JavaScriptВакансии ReactВакансии JavaВакансии GoВакансии Docker
По профессиям
РазработкаДизайнQA / ТестированиеАналитикаProduct / Project ManagerМаркетинг
Работодателям
Разместить вакансиюТарифыБаза кандидатовСвязаться с нами
Кабинет
РегистрацияВойтиЛичный кабинетМои откликиСохранённыеУведомления
Компания
О проектеПредложенияКонтактыБлогКонфиденциальностьУсловия использования
© 2026 Workaem. Все права защищены.КонфиденциальностьУсловияОферта
Made by IT, for IT 💛
QA Engineer (LLM-платформа)
ВердиктОписаниеИнструментыКомпанияПохожие
  1. Главная
  2. /
  3. Вакансии
  4. /
  5. QA Engineer (LLM-платформа)

ПАО Сбербанк·Москва·21 июля

QA Engineer (LLM-платформа)

🏢 ОфисMiddleПолная занятостьКорпорация
Зарплата не указана
56
Есть о чём спросить
Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.
Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
Разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
Тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
Оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
Анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
Автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
Тестирование API-интеграций с LLM-провайдерами (OpenAI, Anthropic, OpenRouter и др.): лимиты, ретраи, обработка ошибок, стриминг
Ведение тестовой документации, баг-репортов, участие в приёмке фич
Взаимодействие с разработчиками и ML-инженерами при разборе дефектов

Наши требования

Опыт в тестировании от 3 лет (ручное + понимание принципов автоматизации)
Практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
Уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
Python на базовом уровне для автотестирования: умение написать и поддерживать простые автотесты (pytest / requests), понимание структуры тестового проекта, работа с фикстурами и ассертами
Умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями
Продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
Опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
Понимание RAG-архитектур и векторного поиска
Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных

Мы предлагаем

Комфортный современный офис рядом с м. Кутузовская
Гибридный формат работы
Ежегодный пересмотр зарплаты
Корпоративный спортзал и зоны отдыха
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
Программа адаптации и помощь руководителя на старте (для Junior позиций)
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Подписка СберПрайм с возможностью совместного использования на трёх близких
Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

Мы разрабатываем AI-инструменты, LLM-платформу, автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов
Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой

Технологии и навыки

Python
ML
AI
QA
П
ПАО Сбербанк
Москва

ГрейдMiddle
ЗанятостьПолная занятость
РегионРоссия
ФорматОфис
ИсточникСкрыто
Опубликовано21 июля
Все вакансии компании

AI-помощник

под эту вакансию
Войди, чтобы AI оценил твоё соответствие вакансии и написал сопроводительное письмо

Похожие вакансии

Agentic AI DeveloperСБЕРИнженер по автоматизации тестирования 1C, Ozon БанкOzonTech Lead Java (GigaChat)СБЕРЛидер команды R&D в MLСБЕР
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).