Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования.
Ищем лида тех компетенции DE.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
И NRT пайплайны с Flink, Spark Streeming, Kafka, dynamic tables.
языки - Python, Java, Scala.
Обязанности
•разработка DWH/DataLake/LakeHouse
•построение поставки данных в RealTime/NRT/Batch
•проведение код-ревью других разработчиков
•оптимизация ETL
•повышение актуальности данных
•снижение latency доступа к данным
•разработка и валидация архитектуры данных
Требования
•отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
•опыт работы с Hadoop, Spark, Iceberg/Paimon
•опыт работы с Flink и Spark Streaming
•опыт работы с Kafka и др. Брокерами
•опыт работы с оркестраторами (например, Airflow) и CI/CD
•опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
•опыт кратной оптимизации ETL
•практическое знание python на уровне разработки ETL
•практическое знание java/scala будет преимуществом
•практический опыт создания и защиты архитектуры данных будет преимуществом
•практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
Условия
•офисный (метро Кутузовская) формат работы 5/2
•годовой бонус и ежегодный пересмотр
•расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
•корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
•офис на Кутузовской с зонами отдыха и спортзалом
•льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.
