Senior Data engineer (Рекламная платформа)

🏢 ОфисSeniorПолная занятость

Зарплата не указана

Вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы ищем Data engineer в команду развития специализированных витрин данных.

Чем предстоит заниматься

Разрабатывать и поддерживать витрины данных в облачной экосистеме

Проектировать и улучшать архитектуру системы

Разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам

Внедрять контроль качества данных (SODA)

Наши требования

Опыт работы с Iceberg,DataHub/OpenMetaData,SODA/GreateExpectation, ClickHouse,Kubernetes

Навыки работы с генеративными AI-моделями

Опыт создания AI-агентов и использования их в работе

Высшее образование

Опыт работы data engineer от 5 лет

Глубокое понимание принципов модели распределённых вычислений

Уверенные навыки поиска, обработки данных и построения витрин с помощью Spark и SQL

Опыт промышленной разработки на стеке Scala/Java/Python, знание инструментов по обработке больших данных (Spark, Trino, Polars) и опыт работы со стримингом (Flink, Spark Streaming, Kafka)

Продвинутые знания SQL и практический опыт работы с одной из реляционных СУБД (Oracle, PostgreSQL, mySQL, MS SQL Server), а также работа с объектными хранилищами S3 и файловой системой HDFS

Знание любого оркестратора рабочих процессов (AirFlow, Oozie, Dagster, Argo Workflows) и понимание подходов к организации разработки (CI/CD, DevOps)