П
Senior DevOps LLM (Инвестиционный бизнес)
ПАО Сбербанк
Москва
🏢 Офис
Senior
Полная занятость
Корпорация
Россия
Fintech
Описание вакансии
Мы разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки. Наши команды работают над следующими направлениями:
•алгоритмизированный и AI поиск потенциальных сделок и клиентов
•управление процессом заключения инвестиционных сделок
•финансовые расчеты и оценка портфеля
•построение финансовой и управленческой отчетности по портфелю инвестиций Сбера
•инвестиционные сервисы для компаний - наших клиентов.
Наша инвестиционная платформа ЮЛ в Сбер - это уникальная разработка на российском рынке для выдачи и сопровождения инвестиционного финансирования юридическим лицам. Такие сделки имеют большое значение для российской экономики, и о них пишут в новостях.
Вы будете работать с микросервисной архитектурой (Kubernetes, Docker, Istio, Kafka).
Мы используем specififcation-driven подход к разработке и активно развиваем эту методологию внутри Сбера.
Обязанности
•развертывание и конфигурация Open Source LLM (DeepSeek, Qwen и др.) на собственных мощностях
•настройка высокопроизводительных инференс-серверов (vLLM, TGI, TensorRT-LLM, llama.cpp)
•оптимизация использования GPU (память, батчинг, quantization) для достижения требуемой пропускной способности и задержек (latency)
•настройка систем observability для слоя инференса: сбор метрик (количество запросов, время генерации, использование VRAM, throughput, количество активных потоков/запросов)
•реализация health checks (ready/live probes) для инференс-серверов
•автоматизация оповещений (alerts) при деградации производительности или падении сервисов
•настраивать сквозную трассировку (trace\_id) по всей цепочке сервисов: от пользовательского интерфейса до агентов и инфраструктуры
•развивать дашборды в Grafana для мониторинга агентов, инфраструктуры и ключевых компонентов платформы
•внедрять кастомные метрики для агентов (запросы, статус, P95, LLM-вызовы, токены) без изменения кода агентов
•обеспечивать корреляцию логов и трейсов для быстрого поиска инцидентов
•настраивать алерты: технические (Pod OOM, память, ошибки) и качественные (satisfaction rate, регрессии)
•работать с централизованным Prompt Hub для хранения и обновления промптов без деплоя
•автоматизировать интеграцию E2E-тестов с системой трассировки
•поднятие и конфигурация бэкенд-серверов для работы агентов (FastAPI, Node.js или других runtime)
•контейнеризация (Docker) и оркестрация (Kubernetes / Docker Compose) компонентов системы
•управление окружениями (dev/stage/prod) и CI/CD пайплайнами для доставки кода агентов и обновлений инфраструктуры
•разработка агентов в структурированном формате Markdown, следуя принципам Claude/Harness Engineering (явное описание инструментов, контекста, последовательности действий)
•создание системных промптов, определения инструментов (tools/functions) и четких границ поведения агента
•интеграция агентов с внешними API, базами данных и DevOps-инструментами (Kubernetes, AWS, CI/CD)
•разработка и поддержка пайплайнов CI/CD
•внедрение новых инструментов для автоматизации и мониторинга
•взаимодействие с командами разработки, тестирования и эксплуатации.
Требования
•опыт развертывания и сопровождения Open Source LLM в продакшене
•глубокое практическое знание инструментов инференса: vLLM, TGI (Text Generation Inference) или аналогичных (TensorRT-LLM, sglang)
•понимание внутренних механизмов LLM инференса: KV-cache, continuous batching, quantization (GGUF, GPTQ, AWQ)
•опыт написания агентов/промптов в продакшн-среде, знакомство с концепцией Harness Engineering (или готовность быстро в нее погрузиться)
•уверенное владение Python (написание сервисов, скриптов мониторинга, интеграций)
•экспертный опыт работы с контейнеризацией (Docker)
•опыт управления кластерами Kubernetes: написание и поддержка манифестов, работа с Helm (чарты)
•опыт построения и поддержки пайплайнов в Jenkins, GitLab CI
•уверенная работа с Git (стратегии ветвления, код-ревью)
•опыт работы с СУБД (PostgreSQL, ClickHouse или аналогичными) в контексте высоконагруженных систем
•опыт построения observability-стека для микросервисных или агентных систем
•навыки настройки сквозной трассировки, метрик, логирования и алертинга
•уверенное владение инструментами: Grafana, Prometheus, Loki, Jaeger, OpenTelemetry
Будет плюсом
•опыт работы с фреймворками для агентов (LangChain, LlamaIndex, AutoGen, или собственные решения)
•знание подходов к fine-tuning и evaluation LLM (например, LoRA/QLoRA, использование Axolotl или Unsloth; оценка качества через MMLU, HumanEval, ROUGE, BERTScore, фреймворки DeepEval или LM Evaluation Harness)
•опыт управления GPU-инфраструктурой (NVIDIA A100/H100, L40S, работа с MIG, vGPU)
•навыки администрирования Linux (сети, файловые системы,работа с драйверами NVIDIA)
•навыки работы с генеративными AI-моделями.
Условия
•комфортный современный офис рядом с м. Ленинский проспект, ул. Вавилова 19, формат работы - гибрид
•корпоративный спортзал и зоны отдыха
•более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная програма
•бесплатная подписка Прайм
•вознаграждение за рекомендацию друзей в команду Сбера.
Технологии и навыки
Настоящий работодатель никогда не попросит перевести деньги, продиктовать код из SMS, войти под чужим аккаунтом или поставить непонятное приложение. Столкнулся с таким при отклике — прекращай переписку и расскажи нам в чате с основателем или через форму обратной связи.