Инженер LLM / AI
Думатель
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Мы создаем продукт Coherent — промышленная мультиагентная AI-платформа управления надёжностью технологического оборудования (Reliability Intelligence Suite). Ключевой результат работы платформы — автоматически формируемые технические карты (техкарты) обслуживания оборудования, где каждый из атрибутов прослеживается до проверяемого источника: паспорта оборудования, пункта нормативного документа (ГОСТ), записи в справочниках НСИ.
Чем нужно заниматься
•Реализовывать и развивать многоагентный пайплайн генерации техкарт (LangGraph): проектирование агентов, их взаимодействия, состояний и переходов.
•Проектировать и улучшать слой поиска (retrieval) внутри агентов: стратегии разбиения технических документов на фрагменты (chunking), гибридный поиск (dense + BM25), переранжирование результатов (reranker), классификация входящих документов на нулевом шаге пайплайна.
•Реализовывать логику извлечения фактов, их верификации против первоисточников и разрешения конфликтов между расходящимися источниками (паспорт, ГОСТ, НСИ).
•Обеспечивать прослеживаемость (provenance) каждого факта до конкретного источника — как ключевое качество продукта.
•Разрабатывать и поддерживать инженерию промптов и структуру агентов, включая проверочные (verifier) агенты.
•Настраивать каскадный поиск по верифицированным внешним нормативным источникам.
•Строить и поддерживать процесс оценки качества пайплайна: метрики поиска (recall@k, NDCG) и метрики качества генерации, работа с эталонным (eval) датасетом.
•Внедрять и использовать трейсинг и наблюдаемость пайплайна (Langfuse, OpenTelemetry) для диагностики и итеративного улучшения качества.
•Обеспечивать провайдер-независимость языкового слоя: возможность работы как через облачный API, так и на self-hosted open-source моделях в закрытом контуре.
•Участвовать в написании технических спецификаций (API-контракты, JSON-схемы, промпты агентов) и техническом ревью в своей зоне.
•Совместно с аналитиком и экспертами формировать требования к эталонному датасету и участвовать в его подготовке.
Что нам важно видеть в кандидате
•Опыт в разработке ML / AI / NLP-систем в продакшне — от 3 лет.
•Уверенный Python; опыт построения сервисов и пайплайнов обработки данных и документов.
•Подтверждённый опыт построения RAG-систем: стек retriever–reranker–generator, повышение точности и устойчивости поиска.
•Опыт работы с векторными базами данных (Milvus, FAISS, Chroma, pgvector) и с гибридным поиском (dense + разреженный / BM25).
•Опыт построения агентных LLM-систем и оркестрации (LangGraph или аналоги); работа с tool-use / function calling.
•Опыт работы с обработкой больших корпусов технической документации: разбиение на фрагменты, извлечение структуры (таблицы, разделы, ссылки).
•Опыт построения процессов оценки качества RAG и генерации и интерпретации метрик для итеративного улучшения системы.
•Глубокое понимание архитектуры RAG и того, как повышать качество каждого её звена (retrieval, reranking, генерация).
•Владение метриками поиска и ранжирования (recall@k, precision, MRR, MAP, NDCG) и метриками качества генерации (в т.ч. подходы LLM-as-a-Judge, проверка фактической согласованности).
•Инженерия промптов и проектирование проверочных (verifier) агентов.
•Понимание того, как строить измеримое качество: роль эталонного датасета, регрессионное тестирование качества, трейсинг пайплайна.
•Умение работать с разнородной, слабоструктурированной технической и нормативной документацией.
•Инженерная дисциплина: спецификации, ревью, воспроизводимость, работа в трекере задач.
Будет плюсом
•Опыт развёртывания и обслуживания self-hosted open-source LLM (vLLM, TGI и т. п.) для закрытого контура — это инфраструктура инференса, не обучение.
•Опыт с трекерами экспериментов и наблюдаемости (Langfuse, MLflow, Weights & Biases).
•Опыт работы с технической или нормативной документацией промышленной тематики (ГОСТ, эксплуатационная документация, паспорта оборудования).
•Интерес к data-centric подходу — улучшению качества за счёт данных и разметки, а не за счёт обучения моделей.
•Опыт с графовыми БД (Neo4j) и построением связей между сущностями.
Что предлагаем
•Возможность реализовать ядро инновационного промышленного AI-продукта на ранней стадии и напрямую влиять на архитектуру.
•Работа с содержательно сложной задачей: проверяемый поиск и верификация фактов в технической документации — а не типовой чат-бот.
•Короткая дистанция до принятия решений; прямое взаимодействие с продуктовой командой и техническими лидами.
•Современный стек: LangGraph, Claude API и self-hosted модели, Milvus / pgvector, Langfuse, Kubernetes.
•Сильная инженерная и продуктовая команда; выстроенная методология спецификаций и ревью.
