Senior DevOps LLM (Инвестиционный бизнес)

🏢 ОфисSeniorПолная занятость

Зарплата не указана

Навык востребован (AI). Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

Мы разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки. Наши команды работают над следующими направлениями: алгоритмизированный и AI поиск потенциальных сделок и клиентов

О роли

Управление процессом заключения инвестиционных сделок финансовые расчеты и оценка портфеля

Чем предстоит заниматься

Развертывание и конфигурация Open Source LLM (DeepSeek, Qwen и др.) на собственных мощностях

Настройка высокопроизводительных инференс-серверов (vLLM, TGI, TensorRT-LLM, llama.cpp)

Оптимизация использования GPU (память, батчинг, quantization) для достижения требуемой пропускной способности и задержек (latency)

Настройка систем observability для слоя инференса: сбор метрик (количество запросов, время генерации, использование VRAM, throughput, количество активных потоков/запросов)

Реализация health checks (ready/live probes) для инференс-серверов

Автоматизация оповещений (alerts) при деградации производительности или падении сервисов

Настраивать сквозную трассировку (trace_id) по всей цепочке сервисов: от пользовательского интерфейса до агентов и инфраструктуры

Развивать дашборды в Grafana для мониторинга агентов, инфраструктуры и ключевых компонентов платформы

Внедрять кастомные метрики для агентов (запросы, статус, P95, LLM-вызовы, токены) без изменения кода агентов

Обеспечивать корреляцию логов и трейсов для быстрого поиска инцидентов

Настраивать алерты: технические (Pod OOM, память, ошибки) и качественные (satisfaction rate, регрессии)

Работать с централизованным Prompt Hub для хранения и обновления промптов без деплоя

Автоматизировать интеграцию E2E-тестов с системой трассировки

Поднятие и конфигурация бэкенд-серверов для работы агентов (FastAPI, Node.js или других runtime)

Контейнеризация (Docker) и оркестрация (Kubernetes / Docker Compose) компонентов системы

Управление окружениями (dev/stage/prod) и CI/CD пайплайнами для доставки кода агентов и обновлений инфраструктуры

Разработка агентов в структурированном формате Markdown, следуя принципам Claude/Harness Engineering (явное описание инструментов, контекста, последовательности действий)

Создание системных промптов, определения инструментов (tools/functions) и четких границ поведения агента

Интеграция агентов с внешними API, базами данных и DevOps-инструментами (Kubernetes, AWS, CI/CD)

Разработка и поддержка пайплайнов CI/CD

Внедрение новых инструментов для автоматизации и мониторинга

Взаимодействие с командами разработки, тестирования и эксплуатации

Наши требования

Опыт развертывания и сопровождения Open Source LLM в продакшене

Глубокое практическое знание инструментов инференса: vLLM, TGI (Text Generation Inference) или аналогичных (TensorRT-LLM, sglang)

Понимание внутренних механизмов LLM инференса: KV-cache, continuous batching, quantization (GGUF, GPTQ, AWQ)

Опыт написания агентов/промптов в продакшн-среде, знакомство с концепцией Harness Engineering (или готовность быстро в нее погрузиться)

Уверенное владение Python (написание сервисов, скриптов мониторинга, интеграций)

Экспертный опыт работы с контейнеризацией (Docker)

Опыт управления кластерами Kubernetes: написание и поддержка манифестов, работа с Helm (чарты)

Опыт построения и поддержки пайплайнов в Jenkins, GitLab CI

Уверенная работа с Git (стратегии ветвления, код-ревью)

Опыт работы с СУБД (PostgreSQL, ClickHouse или аналогичными) в контексте высоконагруженных систем

Опыт построения observability-стека для микросервисных или агентных систем

Навыки настройки сквозной трассировки, метрик, логирования и алертинга

Уверенное владение инструментами: Grafana, Prometheus, Loki, Jaeger, OpenTelemetry

Опыт работы с фреймворками для агентов (LangChain, LlamaIndex, AutoGen, или собственные решения)

Знание подходов к fine-tuning и evaluation LLM (например, LoRA/QLoRA, использование Axolotl или Unsloth; оценка качества через MMLU, HumanEval, ROUGE, BERTScore, фреймворки DeepEval или LM Evaluation Harness)

Опыт управления GPU-инфраструктурой (NVIDIA A100/H100, L40S, работа с MIG, vGPU)

Навыки администрирования Linux (сети, файловые системы,работа с драйверами NVIDIA)навыки работы с генеративными AI-моделями