Сбер·Россия·20 июня
NLP Engineer (GigaChat Pretrain)
300 000 – 600 000 ₽
≈ 3,5 тыс.–6,9 тыс. $
🌍 УдалённоSeniorПолная занятость
88
Сильная вакансия
Платят на 71% выше медианы грейда, навык востребован (Python).
Описание вакансии
Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги.
Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики — в статье на Habr). Зимой выложили в открытый доступ одну из наших MoE-моделей. И на этом не остановились — двигаемся дальше!
Сейчас у нас фокус в несколько направлений
Исследования и эксперименты.
Стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений).
Методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE).
Скейлинг-законы (для гиперпараметров, качества и стоимости).
Постоянный разбор свежих статей и идей индустрии.
Инфраструктура и параллельные тренировки.
5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах.
Фреймворк распределённого обучения.
Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах.
Низкоуровневые оптимизации.
Оптимизация операций на уровне CUDA/triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест.
Качество и метрики.
Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка.
Ищем NLP Engineer, с которым будем делать GigaChat умнее. Для экспериментов у нас — кластер с большим числом A100/H100.
Чем предстоит заниматься
Доводить качество на русском до уровня ChatGPT и выше.
Придумывать и проверять идеи, которые дают практический выигрыш.
Помогать решать задачи внутренних клиентов Сбера — с прицелом на внешних пользователей.
Следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.
Что важно
Уверенный Python и PyTorch.
База по алгоритмам и математике (линейная алгебра, оптимизация, вероятности).
Опыт обучения DL-моделей: от «просто моделей» до больших.
Теоретическое понимание алгоритмов распределенного обучения.
Представление о текущем ландшафте LLM и трендах.
Плюсом будет
Опыт с распределённым обучением (DDP/FSDP/параллелизмы), CUDA/NCCL/профилирование, MoE/FP8, мультимодальные модели, построение метрик качества.
Даже если у тебя нет опыта с LLM, но ты много занимался NLP исследованиями или инженерными оптимизациями — не стесняйся откликнуться!
Формат и условия
Удалённо по России.
Возможность оформления в аккредитованную IT-компанию.
Годовая премия по итогам работы до 6 окладов.
Регулярный пересмотр зарплат.
Корпоративный спортзал и зоны отдыха.
Более 400 программ СберУниверситета для роста.
Программа адаптации и помощь руководителя на старте.
Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
Ипотека для сотрудников по дисконтной программе.
СберПрайм+ и скидки у партнёров.
Бонус за рекомендации в команду.
Сбер
Россия
ГрейдSenior
ЗанятостьПолная занятость
РегионРоссия
ФорматУдалённо
ИсточникСкрыто
Опубликовано20 июня
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).