Эта вакансия в архивеЭту вакансию выложили заново, открыть новую публикацию
Сбер·Санкт-Петербург·16 сент.
Middle+ QA Engineer (AI/LLM Products)
Ориентир по рынку≈ 250 000 – 400 000 ₽наша приблизительная оценка по 12 вакансиям этой роли и грейда, у работодателя вилка не указана
🏢 ОфисMiddleПолная занятость
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Объявление живое, и что за работа, понятно из текста.
3 из 4 в норме
Вилку не назвали: какую сумму назвать вам и ниже какой не соглашаться
Деньги
Сумму в объявлении не указали. Ориентир на созвон: столько платят в 12 похожих вакансиях ML Engineer уровня Middle.
- Кроме оклада: пересмотр зарплаты.
Живость
Открыта 33 дня, и признаков фиктивного найма у неё нет. Раньше не выкладывалась.
- Появилась у нас 16 сентября 2026 г., 33 дня назад
- Эту вакансию выложили заново: Открыть новую публикацию
Считается по истории наблюдений за вакансией: сколько раз её переоткрывали, меняли ли текст, как долго висит. За вакансиями с hh.ru следим каждую ночь: выдача, архив и текст карточки. Это оценка по косвенным признакам, а не факт. Окончательный вывод за вами.
Описание
Обязанности: 9, требования: 12. Понятно, что за работа, ещё до отклика.
- Обещают
- ДМС и компенсация спорта
- Известно
- испытательный срок
- Не сказано
- условия испытательного срока
Что требуют
ОбязательноAILLMPostmanJSONRESTPythonPytestPlaywright
ПлюсомSeleniumRAG
Надбавка к зарплате на этом уровне: Python +40%, REST +26%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Наша компания
Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов. Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.
Чем предстоит заниматься
Функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
Разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
Тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
Оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
Анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
Автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
Тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
Ведение тестовой документации, баг-репортов, участие в приёмке фич
Взаимодействие с разработчиками и ML-инженерами при разборе дефектов
Наши требования
Высшее образование
Опыт в тестировании от 3 лет (ручное + автоматизация)
Практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
Уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
Python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
Умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями
Продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
Опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
Понимание RAG-архитектур
Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных
Мы предлагаем
Срочный трудовой договор до 01.07.2027
Офисный формат работы на период испытательного срока, далее возможен гибридный формат
Ежегодный пересмотр зарплаты
Корпоративный спортзал и зоны отдыха
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
Программа адаптации и помощь руководителя на старте (для Junior позиций)
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Подписка СберПрайм с возможностью совместного использования на трёх близких
Вознаграждение за рекомендацию друзей в команду Сбера
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).