AI/LLM Engineer в GenAI Evaluation

HeadHunter·Москва·4 дн назад

AI/LLM Engineer в GenAI Evaluation

Ориентир по рынку≈ 250 000 – 425 000 ₽наша приблизительная оценка по 9 вакансиям этой роли и грейда, у работодателя вилка не указана

🏢 ОфисMiddleПолная занятость

≈ 250 000 – 425 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Вакансия к тому же свежая, откликаться лучше сейчас.

3 из 4 в норме

Вилку не назвали: какую сумму назвать вам и ниже какой не соглашаться

Деньги

Вилку работодатель не назвал. Ориентир на созвон: столько платят в 9 похожих вакансиях ML Engineer уровня Middle.

платят меньше250 000 – 425 000 ₽ у половины таких вакансийплатят больше

Вилки нет

Живость

Опубликована 4 дня назад. Раньше не выкладывалась: вакансия новая, а свежие почти всегда живые.

Свежая

Описание

Обязанности: 8, требования: 13. Понятно, что за работа, ещё до отклика.

Обещают: официальное оформление, ДМС, гибкий график, обучение за счёт компании и аккредитованная IT-компания
Не сказано: кто настоящий работодатель

Подробно

Что требуют

ОбязательноAILLMPythonMLRAGLangChainFastAPI

ПлюсомJava

Надбавка к зарплате на этом уровне: Python +40%.

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

Что стоит спросить: вопросы именно к этой вакансии для первого созвона

Когда откликаться

Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Наша компания

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей. Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на

Чем предстоит заниматься

Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода

Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от QA запросов к LLM до сложных агентов с отдельным окружением

Разрабатывать внутренние бенчмарки по hr домену для оценки OSS LLM

Проектировать метрики качества, разрабатывать валидационные пайплайны

Настраивать observability для поддержания качества работы GenAI решений в проде

Организовывать человеческую разметку и разрабатывать LLM-as-Judge

Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI

Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений

Наши требования

Уверенное владение Python, и опыт разработки production-ready ML/GenAI-сервисов

Опыт построения и внедрения систем оценки качества ML / GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация

Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей)

Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.)

Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML

Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов

Готовность быть драйвером внедрения best practices внутри компании

Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering)

Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами

Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только

Знание Java

Понимание современных архитектур и методов обучения языковых моделей

Опыт обучения и инференса open-source LLM-моделей