LLM Data Scientist — оценка качества GigaChat (модельные риски генеративных моделей)

Сбер·Москва·16 сент.

LLM Data Scientist — оценка качества GigaChat (модельные риски генеративных моделей)

Ориентир по рынку≈ 325 000 – 375 000 ₽наша приблизительная оценка по 13 вакансиям этой роли и грейда, у работодателя вилка не указана

🏢 ОфисMiddleПолная занятостьКорпорация

≈ 325 000 – 375 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.

3 из 4 в норме

Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона

Деньги

Сумму в объявлении не указали. Ориентир на созвон: столько платят в 13 похожих вакансиях Data Scientist уровня Middle.

платят меньше325 000 – 375 000 ₽ у половины таких вакансийплатят больше

Кроме оклада: премия и пересмотр зарплаты. Размер не назван, а от него зависит доход за год.

Вилки нет

Живость

Висит 33 дня, признаков фиктивного найма нет.

Живая

Описание

Расписано подробно: обязанностей 10, требований 13. Картина ясна до первого созвона.

Обещают: ДМС и компенсация спорта
Известно: в работе ИИ-инструменты для кода

Подробно

Что требуют

ОбязательноLLMPythonPandasNumPyPyTorchHugging FaceGitDockerCI/CDLinux

ПлюсомRAG

Надбавка к зарплате на этом уровне: Python +40%, Git +8%.

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

Что стоит спросить: вопросы именно к этой вакансии для первого созвона

Когда откликаться

Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Чем предстоит заниматься

Писать чистый код фреймворка и проверять чужой: регулярные код-ревью, PR, поддержка растущей кодовой базы

Настраивать автоматизацию и CI под растущую аудиторию и вести регулярную валидацию версий GigaChat и open-source альтернатив по единой методике — фреймворком пользуются команды по всему Банку

Разрабатывать и актуализировать собственные бенчмарки под ключевые сценарии Банка: подбор задач, редкие и намеренно трудные случаи, эталонные ответы

Превращать запрос «модель стала лучше?» в план проверки: что измеряем, на какой выборке, с чем сравниваем

Делать судей под задачу, знать их перекосы (self-preference, position bias, length bias) и калибровать оценки против человеческих

Понимать, где автоматическая оценка не годится и нужен другой подход, и снижать стоимость измерений без потери достоверности

Оценивать автономность модели в сценарии и цену ее ошибки: что она делает без человека, что необратимого может произойти, какой худший реалистичный исход

Формулировать условия выпуска — доля трафика, ограничения по сценариям, митигации, мониторинг — с явным перечнем непроверенного и защищать выводы перед командой разработки и руководством

Следить за новыми подходами в научном сообществе, читать статьи, писать собственные, внедрять лучшие практики оценки в процессы Банка

Когда нужного инструмента не существует — создавать его самостоятельно

Наши требования

Python на продакшн-уровне: чистый код по PEP 8, ООП и типовые паттерны проектирования, аннотации типов, привычка к линтерам и статическому анализу (ruff, mypy). Создаете и поддерживаете production-код eval-пайплайнов, читаете и ревьюите чужой

Статистика и дизайн эксперимента: доверительные интервалы, оценка необходимого размера выборки, проверка гипотез, поправки на множественные сравнения, разница между статистической и практической значимостью

Понимаете, как устроены LLM изнутри: как работает трансформер и механизм внимания, почему текст разбивается на токены и к чему это приводит, как параметры генерации влияют на ответ, чем отличаются этапы обучения — предобучение, дообучение на инструкциях и обучение на человеческих предпочтениях

Опыт работы с LLM и понимание, как оценивают генеративные модели: метрики, human evaluation, LLM-as-a-judge и его ограничения

Привычка выяснять цену ошибки до начала работы — не бросаться считать метрики, не поняв, что именно проверяете

Готовность работать без готовой методологии, проактивность, умение декомпозировать большие задачи на решаемые

Опыт с open-source моделями и инференсом: vLLM, SGLang, inference API, prompt engineering

Опыт работы с мультимодальными моделями: изображения, аудио

Опыт построения evaluation-фреймворков и evaluation harness, встраивание оценок в CI/CD

Работа с асессорами: постановка задачи разметчикам, контроль согласованности разметки

Работа с coding-агентами (Claude Code, Codex, Cursor и аналоги)

Представление о том, как удешевляют инференс: квантизация, дистилляция, PEFT/LoRA, спекулятивное декодирование

Опыт с RAG: умеете оценивать поиск и генерацию по отдельности, понимаете, почему модель выдумывает факты и как на это влияют разбиение документов на фрагменты и их ранжирование; работали с векторным поиском и эмбеддингами

Мы предлагаем

Комфортный современный офис рядом с м. Кутузовская

Возможность выбрать удобный график — офис / гибрид

Ежегодный пересмотр зарплаты и годовая премия по итогам работы 2–4 оклада

Программа адаптации и помощь руководителя на старте

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Корпоративный спортзал и зоны отдыха

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Подписка Прайм с возможностью совместного использования на трех близких

Скидки на продукты компаний-партнеров

Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

Наша команда отвечает за оценку модельного риска и независимый контроль генеративных моделей Банка. В нашей зоне ответственности GigaChat — текстовые и мультимодальные LLM — и open-source модели: команда первой видит, на что способна новая версия, прежде чем она выйдет к пользователям

Нам нужен специалист, который возьмет на себя измерение качества GigaChat

Эта роль про независимое измерение фундаментального качества модели: не про обучение GigaChat — этим занимается отдельная команда — и не про продуктовые метрики вроде DAU и retention