Сбер·Москва·21 сент.
Senior/Lead QA Engineer (AI/LLM Products)
Ориентир по рынку≈ 300 000 – 400 000 ₽наша приблизительная оценка по 9 вакансиям этой роли и грейда, у работодателя вилка не указана
🏢 ОфисMiddleПолная занятостьКорпорация
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.
3 из 4 в норме
Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона
Деньги
Зарплату в объявлении не раскрыли. Ориентир на созвон: столько платят в 9 похожих вакансиях ML Engineer уровня Middle.
- Кроме оклада: пересмотр зарплаты.
Живость
Висит 28 дней, признаков фиктивного найма нет.
- Появилась у нас 21 сентября 2026 г., 28 дней назад
- Эту вакансию уже публиковали 1 раз, первая публикация была 16 сентября 2026 г.
- Текст сверяли с источником, с публикации он не менялся
- У источника её видели сегодня
Считается по истории наблюдений за вакансией: сколько раз её переоткрывали, меняли ли текст, как долго висит. Выдачу источника сверяем при каждом обходе: пропажу, возврат и правки текста. Это оценка по косвенным признакам, а не факт. Окончательный вывод за вами.
Описание
Расписано подробно: обязанностей 9, требований 11. Картина ясна до первого созвона.
- Обещают
- ДМС и компенсация спорта
- Известно
- испытательный срок
- Не сказано
- условия испытательного срока
Что требуют
ОбязательноAILLMJSONPythonPytestPostmanRESTPlaywright
ПлюсомSeleniumRAG
Надбавка к зарплате на этом уровне: Python +40%, REST +26%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Наша компания
Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов. Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.
Чем предстоит заниматься
Функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
Разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
Тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
Оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
Анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
Автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
Тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
Ведение тестовой документации, баг-репортов, участие в приёмке фич
Взаимодействие с разработчиками и ML-инженерами при разборе дефектов
Наши требования
Продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
Опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
Понимание RAG-архитектур
Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных
Опыт в тестировании от 5 лет (ручное + автоматизация)
Практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
Уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
Python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
Умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями
Мы предлагаем
Офисный формат работы на период испытательного срока, далее возможен гибридный формат
Ежегодный пересмотр зарплаты
Корпоративный спортзал и зоны отдыха
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
Программа адаптации и помощь руководителя на старте (для Junior позиций)
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Подписка СберПрайм с возможностью совместного использования на трёх близких
Вознаграждение за рекомендацию друзей в команду Сбера
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).