Senior MLOps/DevOps Engineer (LLM)

300 000 – 500 000 ₽

на 50% выше медианы рынка

≈ 3,5 тыс.–5,8 тыс. $

🔄 ГибридSeniorПолная занятость

300 000 – 500 000 ₽≈ 3,5 тыс.–5,8 тыс. $

Навык востребован (Python). Но верх вилки на 20% ниже медианы грейда.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Описание вакансии

Мы строим платформу для инференса и SFT open-source LLM. Используем продвинутые cutting-edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в Token throughput. Cейчас мы находимся в поиске MLOps-инженера, который вместе с нами продолжит настраивать и улучшать инфраструктуру инференса LLM-моделей и осуществлять вывод решений в прод контур.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Вам предстоит

Разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов.

Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры; выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp).

Разрабатывать механизмы разграничения доступов к API-сервисам моделей.

Строить систему observability и мониторинга LLM-инференса.

Собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.).

Мы ожидаем

Опыт в аналогичной роли от 5 лет.

Опыт с Linux (сеть, storage, роли/пользователи, менеджмент процессов).

Уверенное владение Kubernetes (используем Istio Service Mesh).

Опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM).

Опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks.

Владение языками: Bash, Python, Groovy (Jenkins scripted).

Продвинутые навыки в CI/CD и оркестрации моделей.