Data Engineer (GigaEye)
СБЕР
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Мы развиваем платформу данных для подготовки датасетов «общих знаний» о внешнем мире. Эти данные напрямую используются в развитии ИИ: для обучения моделей, retrieval/search и других сценариях.
Обязанности
•разрабатывать batch-пайплайны на Spark для трансформации данных из сырых источников (raw) в готовые витрины и датасеты для ML-команд.
•обеспечивать качество данных: реализовывать алгоритмы дедупликации, очистки, фильтрации и обогащения.
•оптимизировать хранение в S3 + Iceberg: настраивать партиционирование, компактизацию, управлять жизненным циклом снепшотов для работы с сотнями петабайт данных.
•разворачивать и оркестрировать пайплайны с помощью Airflow и Kubernetes (деплой своих Spark-джоб и сервисов без хардкорного DevOps).
•организовывать быстрый и удобный доступ исследователей к данным через Trino/Presto.
Требования
•опыт работы Data Engineer от 3 лет.
•глубокое понимание под капотом Spark (настройка потребления памяти, борьба со skew, оптимизация планов запросов).
•практический опыт с S3-совместимыми хранилищами и табличными форматами (Iceberg, Delta или Hudi), нас Iceberg.
•уверенное владение SQL и Python.
•опыт контейнеризации и запуска задач в Kubernetes.
•умение проектировать пайплайны, устойчивые к падениям и дублям (идемпотентность).
Будет плюсом
•Опыт администрирования или оптимизации Trino/Presto.
•Работа с форматами web архивов (WARC, Common Crawl).
•Опыт подготовки текстов или данных специфично под задачи ML/LLM.
Условия
•стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
•комфортный современный офис рядом с м.Кутузовская
•гибридный формат работы: встречаемся очно в офисе 1 раз в неделю
•корпоративный спортзал и зоны отдыха
•уникальная система обучения Сбера для профессионального и карьерного развития
•программа адаптации и помощь руководителя на старте
•расширенный ДМС и льготное страхование семьи
•гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров
•вознаграждение за рекомендацию друзей в команду Сбера
•корпоративная пенсионная программа
Похожие вакансии
Если при отклике просят перевести деньги, назвать код из SMS, войти через чужой аккаунт или установить непонятное приложение — это признаки мошенничества. Не соглашайся и напиши нам через чат с основателем или форму обратной связи.