Сбер·Москва·18 сент.
ML Research Engineer – Image & Video Generation (Модельные риски генеративных моделей)
Ориентир по рынку≈ 130 000 – 275 000 ₽наш грубый ориентир по 199 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🏢 ОфисMiddleПолная занятостьКорпорация
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.
3 из 4 в норме
Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона
Деньги
Вилку работодатель не назвал. Грубый ориентир: столько платят в 199 вакансиях уровня Middle по всему рынку, без учёта специальности.
- Кроме оклада: премия и пересмотр зарплаты. Размер не назван, а от него зависит доход за год.
Живость
Висит 31 день, признаков фиктивного найма нет.
Описание
Расписано подробно: обязанностей 11, требований 27. Картина ясна до первого созвона.
- Обещают
- ДМС и компенсация спорта
- Известно
- в работе ИИ-инструменты для кода
Что требуют
ОбязательноMLLLMPython
Надбавка к зарплате на этом уровне: Python +40%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Чем предстоит заниматься
Декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки
Проектировать оценку там, где готовой методологии ещё нет
Реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик
Обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки
Готовить инструкции для асессоров и контролировать качество разметки
Разрабатывать судей под конкретные критерии, учитывать их bias и ограничения
Понимать, где автоматическая оценка работает, а где без человека нельзя
Понимать ограничения diffusion-моделей и причины типовых артефактов
Отличать реальную проблему модели от ошибки методологии или замера
Анализировать качество по отдельным сценариям, типам промптов и срезам, а не только по среднему значению
Формулировать условия релиза, ограничения и явно фиксировать то, что осталось непроверенным
Наши требования
Понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio
Понимание типовых ограничений, ошибок и артефактов моделей; способность разбираться в причинах ошибок и способах их проверки
Декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки
Выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения
Проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии
Prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей
Построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой
Понимание нестабильности, bias и галлюцинаций моделей; умение подбирать модель под конкретную исследовательскую задачу
Понимать, чем агент отличается от обычного вызова LLM
Знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация
Понимать, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность
Уметь оценивать надёжность и ограничения агентных решений
Находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации
Сравнивать решения с актуальными подходами и оценивать достоверность результатов
Переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов
Декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности
Управлять контекстом и изоляцией субагентов, организовывать проверку результатов
Собирать результаты нескольких агентов в единое решение и критически оценивать их выводы
Уверенно работать с Codex, Claude Code и другими coding-агентами
Проверять и дорабатывать сгенерированный код, использовать агентов для тестирования
Понимать архитектуру создаваемого решения
Связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта
Приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки
Понимать влияние результатов на релиз и дальнейшее развитие модели
Оценка Image, Video, Audio и мультимодальных моделей; разработка собственных бенчмарков и методологий
Работа с асессорами, большими массивами пользовательских запросов и построение аналитических пайплайнов/отчётов
Понимание GPU-инфраструктуры и инференса; практический опыт построения multi-agent систем
Мы предлагаем
Комфортный современный офис рядом с м. Кутузовская
Возможность выбрать удобный график - офис / гибрид
Ежегодный пересмотр зарплаты и годовая премия
Корпоративный спортзал и зоны отдыха
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Подписка Прайм с возможностью совместного использования на трёх близких
Скидки на продукты компаний-партнеров
Вознаграждение за рекомендацию друзей в команду Сбера
Дополнительно
О команде
Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models)
Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей
Мы работаем с новыми версиями Kandinsky до их выхода к пользователям. Разрабатываем собственные методологии, бенчмарки и инструменты полного цикла, объединяя автоматические метрики, human evaluation и подходы LLM/VLM-as-a-judge
О роли
Мы ищем специалиста на стыке исследований и инженерной разработки
В этой работе не всегда существует готовая методология или универсальная метрика. Нужно определить, из чего складывается качество модели, спроектировать проверяемый эксперимент и реализовать воспроизводимый evaluation-пайплайн
Роль охватывает весь цикл оценки: от формулирования критериев и подготовки тестовых данных до анализа результатов и рекомендаций для команды разработки. Важно не только измерить качество модели, но и понять, насколько она подходит для реальных пользовательских и бизнес-сценариев, какие ограничения критичны и что осталось непроверенным
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).