Руководитель направления ML Pretrain Multimodal LLM

Сбер·Москва·31 июля

Руководитель направления ML Pretrain Multimodal LLM

Ориентир по рынку≈ 70 000 – 150 000 ₽наш грубый ориентир по 171 вакансии этого грейда на рынке, без учёта специальности: у работодателя вилка не указана

🏢 ОфисБез опытаПолная занятостьКорпорация

≈ 70 000 – 150 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Смущает только, что вакансия висит давно.

2 из 4 в норме

Висит давно: что спросить, чтобы не откликаться в пустоту

Деньги

Зарплату в объявлении не раскрыли. Грубый ориентир: столько платят в 171 вакансии без опыта по всему рынку, без учёта специальности.

платят меньше70 000 – 150 000 ₽ у половины таких вакансийплатят больше

Кроме оклада: премия и пересмотр зарплаты. Размер не назван, а от него зависит доход за год.

Вилки нет

Живость

Открыта уже 80 дней. Источник её держит, но за таким сроком часто стоит трудный найм или набор в резерв.

Висит дольше 90% вакансий того же грейда
Зарплата не указана

Открыта давно

Описание

Обязанности: 22, требования: 7. Понятно, что за работа, ещё до отклика.

Обещают: ДМС и компенсация спорта

Подробно

Что требуют

ОбязательноMLLLMPythonPyTorch

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

Что стоит спросить: вопросы именно к этой вакансии для первого созвона

Когда откликаться

Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Чем предстоит заниматься

Развивать архитектуру моделей GigaChat

Определять, как должна развиваться архитектура pretrain-моделей: какие направления наиболее важны, как измерять прогресс и что в первую очередь ограничивает рост качества модели

Проектировать архитектуру флагманских моделей и отвечать за ключевые архитектурные решения: attention, позиционные схемы (RoPE и варианты), нормализации, активации, инициализация

Развивать MoE-архитектуру: маршрутизация, балансировка экспертов, устойчивость маршрутизатора, влияние на качество и производительность

Работать с long-context и мультимодальностью на уровне архитектуры: что именно нужно менять в модели, чтобы эти возможности работали стабильно

Изучать и применять законы масштабирования

Проводить scaling-эксперименты и на их основе принимать решения по размеру модели, ширине / глубине, числу и размеру экспертов, размерам батча и длительности обучения

Предсказывать, как архитектурные изменения поведут себя при переходе с небольших абляций на полный масштаб

Определять и развивать метрики, которые корректно отражают архитектурные изменения в обучении моделей

Определять, в каких случаях архитектурные изменения действительно дают прирост качества по сравнению с более простыми baseline'ами, а в каких — нет

Анализировать стабильность архитектурных решений

Разбираться с нестабильностью на больших прогонах со стороны архитектуры: почему конкретная конфигурация расходится, где проявляются артефакты маршрутизации, коллапс энтропии, неустойчивости в attention

Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков, которые делают обучение более предсказуемым

Обеспечивать безопасное масштабирование при внедрении крупных архитектурных изменений в основной трейн

Писать ключевой код и оставаться сильным исследователем

Самостоятельно писать и дорабатывать архитектурные компоненты и абляции

Делать надёжные и воспроизводимые эксперименты: понятные версии данных, конфиги, сравнение запусков, контроль деградаций

Читать статьи, воспроизводить ключевые результаты и адаптировать лучшие идеи под наши задачи и инфраструктуру

Руководить сильной технической командой

Руководить командой исследователей и инженеров, работающих над архитектурой, задавать высокую планку по качеству решений, скорости работы и глубине проработки

Паомогать команде превращать архитектурные идеи в работающие решения, которые можно встроить в основной цикл обучения

Удерживать баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели

Наши требования

Отличное владение Python и PyTorch

Глубокое понимание устройства обучения нейросетей: не на уровне обзоров, а на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии

Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context, MoE

Практический опыт с обучением больших моделей (а не только инференсом) и проведением архитектурных абляций

Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн

Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов

Опыт руководства сильной технической командой и готовность лично писать важные части системы руками

Мы предлагаем

Возможность выбрать удобный формат работы: гибрид или офис

Ежегодный пересмотр зарплаты, годовая премия

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Ипотека выгоднее до 7% для каждого сотрудника

Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

Мы развиваем GigaChat и ищем сильного руководителя направления ML pretrain больших языковых моделей. Недавно мы обучили MoE-модель на 700 миллиардов параметров и не собираемся останавливаться — обучение идёт на кластерах H100 и B200, а pretrain является ядром самого быстрорастущего AI-проекта Сбера

Это роль для человека, который возьмёт на себя архитектурную часть pretrain: design моделей, законы масштабирования, выбор и адаптация attention / MoE / позиционных схем, а также все архитектурные решения, которые определяют, какой именно будет следующая флагманская модель GigaChat