Старший Инженер Данных
Selecty
Москва
🏢 Офис
Senior
Полная занятость
Россия
Описание вакансии
Проект с релокацией в Узбекистан!
Мы ищем Senior Data Engineer для участия в крупном технологическом проекте в финансовом секторе. Проект связан с развитием платформы обработки и анализа больших объемов клиентских данных и ее переводом в промышленную эксплуатацию.
Специалист присоединится к команде разработки и будет отвечать за построение надежных ETL-процессов, автоматизацию обработки данных, внедрение оркестрации и подготовку решения к стабильной работе в production-среде.
Подробная информация о компании и проекте предоставляется кандидатам на следующих этапах отбора.
Обязанности
•Разработка и оптимизация процессов обработки больших объемов данных с использованием Apache Spark, PySpark и SQL.
•Построение и развитие многостадийных ETL-пайплайнов, включая обеспечение их идемпотентности и восстановление после сбоев.
•Внедрение и настройка оркестрации пайплайнов с использованием Airflow, Dagster или Prefect.
•Работа с OLAP-СУБД, оптимизация массовой загрузки и батчевой обработки данных.
•Интеграция данных из внутренних и внешних источников.
•Участие в переводе решения в промышленную эксплуатацию, включая автоматизацию, мониторинг и взаимодействие с ML- и DevOps-командами.
Требования
•Опыт работы Data Engineer от 5 лет, включая не менее 3 лет промышленной работы с Apache Spark и PySpark.
•Опыт работы с большими объемами клиентских данных в банковской, финтех- или телеком-сфере от 2 лет.
•Экспертное владение SQL: оптимизация сложных аналитических запросов, оконные функции, партиционирование и батчевая обработка больших выборок.
•Уверенное владение Python и инструментами обработки данных: pandas, pyarrow, Parquet.
•Опыт построения отказоустойчивых многостадийных ETL-пайплайнов, включая идемпотентность, восстановление после сбоев и контроль потребления памяти.
•Практический опыт работы с OLAP-СУБД, массовой загрузкой данных и системами оркестрации, такими как Airflow, Dagster или Prefect.
Условия
•Участие в крупном технологическом проекте в финансовом секторе.
•Работа с высоконагруженными системами и большими объемами данных.
•Контракт сроком на 1 год.
•Офисный формат работы с релокацией в Узбекистан.
•Итоговое предложение определяется по результатам интервью и зависит от опыта и технической экспертизы кандидата.
•Работа в команде опытных Data Engineering, Machine Learning и DevOps-специалистов.
Похожие вакансии
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение — прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).