Senior/ TL Data engineer

до 540 000 ₽

≈ до 6,2 тыс. $

🏢 ОфисSeniorПолная занятостьКорпорация

до 540 000 ₽≈ до 6,2 тыс. $

Навык востребован (Python). Но верх вилки на 14% ниже медианы грейда.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов

Поддержание и развитие текущих пайплайнов обработки данных на Hadoop с использованием Apache Spark

Разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel)

Реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники

Разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя

Глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок

Разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python

DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах

Наши требования

Уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ)

Глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене

Опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle

Понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg)

Опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle)

Опыт внедрения промышленных пайплайнов пакетной передачи данных

Опыт внедрения Gluten/Velox или аналогичных векторизованных движков

Навыки сборки и развертывания Doker\-образов приложений

Мы предлагаем

Офисный формат работы (м Кутузовская)

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Регулярные митапы и развитое DS-community

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Подписка Прайм с возможностью совместного использования на трёх близких

Вознаграждение за рекомендацию друзей в команду Сбер

Дополнительно

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании

Мы предлагаем

Интересные задачи по построению Data Lakehouse на базе Apache Spark и Apache Iceberg

Работу с большими объемами данных и современным стеком технологий

Возможность влиять на архитектурные решения

Ключевые технологии в вакансии: SQL, Java, Scala, Python, Apache Spark, Apache Iceberg, Apache Hadoop, Greenplum, Gluten, Velox, Oozie, Jenkins, Doker