Data Engineer / Инженер данных
WINLINE
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Мы строим Data Lake House платформу с современным стеком
S3, Trino, Apache Iceberg, DBT, Airflow, Kafka, Clickhouse.
Обязанности
•реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer);
•реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника;
•построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям;
•реализация и поддержка прикладных решений для контроля качества данных в DWH;
•реализация и поддержка прикладных решений для управления метаданными DWH;
•участие в R&D для выбора инструментов для построение отдельных частей платформы данных.
Требования
•Опыт работы от 3х лет;
•базовые навыки в области инженерии данных;
•системное аналитическое инженерное мышление;
•умеренный перфекционизм и внимание к деталям;
•понимание концепций проектирования DWH;
•продвинутый уровень знания SQL;
•высокий уровень владения Python для обработки данных;
•опыт работы с оркестраторами и понимание концепции DAG;
•опыт разработки и поддержки end-to-end пайплайнов данных;
•опыт получения данных из различных типов API;
•опыт работы с потоковой обработкой данных;
•умение работать с GIT.
Условия
•график работы: на испытательном сроке офис 5/2, далее гибрид;
•ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях;
•релокация из любой точки мира.
