NLP Engineer (GigaChat Pretrain)

Сбер·Москва·11 июня

NLP Engineer (GigaChat Pretrain)

350 000 – 700 000 ₽

≈ 4 тыс.–8,1 тыс. $

🌍 УдалённоSeniorПолная занятость

350 000 – 700 000 ₽≈ 4 тыс.–8,1 тыс. $

Сильная вакансия

Платят на 100% выше медианы грейда, навык востребован (Python).

Нажмите на сигнал, чтобы увидеть, на чём он основан

Описание вакансии

Эта вакансия — участник пилота по использованию AI.

После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным.

Попробуйте — и вы станете одним из первых, кто познакомится с ГигаРекрутером Сбера!

Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги.

Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики — в статье на Habr). Зимой выложили в открытый доступ одну из наших MoE-моделей. И на этом не остановились — двигаемся дальше!

Сейчас у нас фокус в нескольких направлениях

Исследования и эксперименты.

Стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений).

Методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE).

Скейлинг-законы (для гиперпараметров, качества и стоимости).

Постоянный разбор свежих статей и идей индустрии.

Инфраструктура и параллельные тренировки.

5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах.

Фреймворк распределённого обучения.

Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах.

Низкоуровневые оптимизации.

Оптимизация операций на уровне CUDA/Triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест.

Качество и метрики.

Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка.

Ищем NLP Engineer, с которым будем делать GigaChat умнее. Для экспериментов у нас — кластер с большим числом A100/H100.

Обязанности

Доводить качество на русском до уровня ChatGPT и выше.

Придумывать и проверять идеи, которые дают практический выигрыш.

Помогать решать задачи внутренних клиентов Сбера — с прицелом на внешних пользователей.

Следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.

Требования

Уверенный Python и PyTorch.

База по алгоритмам и математике (линейная алгебра, оптимизация, вероятности).

Опыт обучения DL-моделей: от «просто моделей» до больших.

Теоретическое понимание алгоритмов распределенного обучения.

Представление о текущем ландшафте LLM и трендах.

Плюсом будет

Опыт с распределённым обучением (DDP/FSDP/параллелизмы), CUDA/NCCL/профилирование, MoE/FP8, мультимодальные модели, построение метрик качества.

Даже если у тебя нет опыта с LLM, но ты много занимался NLP исследованиями или инженерными оптимизациями — не стесняйся откликнуться!

Условия

Удалённо по России.

Возможность оформления в аккредитованную IT-компанию.

Годовая премия по итогам работы до 6 окладов.

Регулярный пересмотр зарплат.

Корпоративный спортзал и зоны отдыха.

Более 400 программ СберУниверситета для роста.

Программа адаптации и помощь руководителя на старте.

Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.

Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.

Ипотека для сотрудников по дисконтной программе.

СберПрайм+ и скидки у партнёров.

Бонус за рекомендации в команду.