Senior Data Engineer

🏢 ОфисMiddleПолная занятость

Зарплата не указана

Есть о чём спросить

Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников

Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow

Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных

Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга

Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных

Взаимодействие с BI разработчиками и аналитиками

Наши требования

Опыт работы с PostgreSQL как источником данных для ELT (понимание OLTP-структуры, извлечение без нагрузки на прод, работа с репликацией/CDC)

Глубокое знание ClickHouse: архитектура и внутреннее устройство (движки, партиционирование, репликация, шардирование), оптимизация запросов и производительности

Опыт разработки на Python: ELT-пайплайны и DAG'и Airflow, проектирование архитектуры сервисов, разработка внутренних фреймворков и инструментов

Уверенное знание SQL и опыт оптимизации запросов

Понимание принципов построения DWH

Опыт работы с dbt

Уверенное владение Linux, Docker, Git, CI/CD

Опыт работы с Kafka

Опыт настройки и поддержки CDC

Опыт работы с S3

Опыт работы с облачной инфраструктурой: виртуальные машины, сети, сетевые диски, бэкапы, IAM; опыт работы с Terraform

Опыт работы с Data Lake архитектурой (Trino, Spark, форматы Parquet, Iceberg)

Навыки администрирования ClickHouse