Руководитель направления ML Pretrain Multimodal LLM

Сбер·Москва·25 сент.

Руководитель направления ML Pretrain Multimodal LLM

🔄 ГибридБез опытаПолная занятостьКорпорация

Зарплата не указана

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Зарплату не указали, и сравнить её пока не с чем. О деньгах лучше спросить до собеседования. Вакансия живая, задачи расписаны.

3 из 4 в норме

Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона

Деньги

Вилку работодатель не назвал. Похожих вакансий для ориентира по рынку пока мало.

Вилки нет

Живость

Висит 27 дней, признаков фиктивного найма нет. До этого вакансию выкладывали 1 раз: место освобождается не впервые.

Живая

Описание

Расписано подробно: обязанностей 23, требований 13. Картина ясна до первого созвона.

Не сказано: сколько дней в офисе

Подробно

Что требуют

ОбязательноMLLLMPythonPyTorch

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

10 вопросов именно к этой вакансии: что спросить на первом созвоне

Когда откликаться

Стоит ли спешить: за сколько дней Сбер обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Чем предстоит заниматься

Развивать архитектуру моделей GigaChat

Определять, как должна развиваться архитектура pretrain-моделей: какие направления наиболее важны, как измерять прогресс и что в первую очередь ограничивает рост качества модели

Проектировать архитектуру флагманских моделей и отвечать за ключевые архитектурные решения: attention, позиционные схемы (RoPE и варианты), нормализации, активации, инициализация

Развивать MoE-архитектуру: маршрутизация, балансировка экспертов, устойчивость маршрутизатора, влияние на качество и производительность

Работать с long-context и мультимодальностью на уровне архитектуры: что именно нужно менять в модели, чтобы эти возможности работали стабильно

Изучать и применять законы масштабирования

Проводить scaling-эксперименты и на их основе принимать решения по размеру модели, ширине / глубине, числу и размеру экспертов, размерам батча и длительности обучения

Предсказывать, как архитектурные изменения поведут себя при переходе с небольших абляций на полный масштаб

Определять и развивать метрики, которые корректно отражают архитектурные изменения в обучении моделей

Определять, в каких случаях архитектурные изменения действительно дают прирост качества по сравнению с более простыми baseline'ами, а в каких — нет

Анализировать стабильность архитектурных решений

Разбираться с нестабильностью на больших прогонах со стороны архитектуры: почему конкретная конфигурация расходится, где проявляются артефакты маршрутизации, коллапс энтропии, неустойчивости в attention

Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков, которые делают обучение более предсказуемым

Обеспечивать безопасное масштабирование при внедрении крупных архитектурных изменений в основной трейн

Писать ключевой код и оставаться сильным исследователем

Самостоятельно писать и дорабатывать архитектурные компоненты и абляции

Делать надёжные и воспроизводимые эксперименты: понятные версии данных, конфиги, сравнение запусков, контроль деградаций

Читать статьи, воспроизводить ключевые результаты и адаптировать лучшие идеи под наши задачи и инфраструктуру

Оставаться сильным инженером и исследователем, а не только руководителем: при необходимости самому разбирать узкие места в коде, экспериментах и настройках обучения

Руководить сильной технической командой

Руководить командой исследователей и инженеров, работающих над архитектурой, задавать высокую планку по качеству решений, скорости работы и глубине проработки

Помогать команде превращать архитектурные идеи в работающие решения, которые можно встроить в основной цикл обучения

Удерживать баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели

Наши требования

Отличное владение Python и PyTorch

Глубокое понимание устройства обучения нейросетей: не на уровне обзоров, а на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии

Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context, MoE

Практический опыт с обучением больших моделей (а не только инференсом) и проведением архитектурных абляций

Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн

Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов

Опыт руководства сильной технической командой и готовность лично писать важные части системы руками

Опыт работы с MoE-архитектурами: маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации

Опыт проведения scaling-экспериментов и работы с законами масштабирования

Опыт работы с long-context и мультимодальными расширениями LLM

Опыт работы с distributed training (5D-параллелизм: DP/TP/PP/EP/SP) и large-scale инференсом

Публикации, open-source вклад или сильный прикладной research track record

Понимание современных open-source стеков для обучения больших языковых моделей

Мы предлагаем

Сильные и сложные задачи на переднем крае развития русскоязычных LLM

Большую степень влияния на архитектуру решений, методы обучения и качество итоговой модели

Команду сильных инженеров и исследователей

Возможность совмещать управление направлением с глубокой технической работой

Конкурентную компенсацию, премии и расширенный соцпакет

Дополнительно

Мы развиваем GigaChat и ищем сильного руководителя направления ML pretrain больших языковых моделей. Недавно мы обучили MoE-модель на 700 миллиардов параметров и не собираемся останавливаться — обучение идёт на кластерах H100 и B200, а pretrain является ядром самого быстрорастущего AI-проекта Сбера

Это роль для человека, который возьмёт на себя архитектурную часть pretrain: design моделей, законы масштабирования, выбор и адаптация attention / MoE / позиционных схем, а также все архитектурные решения, которые определяют, какой именно будет следующая флагманская модель GigaChat.Нам нужен не просто менеджер, а сильный технический руководитель, который способен глубоко погружаться в детали, самостоятельно собирать ключевые части решения и доводить архитектурные идеи до реального роста качества модели на масштабе