Data Engineer

Employcity

Москва

🏢 Офис

Middle

Полная занятость

Россия

Описание вакансии

Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, в поисках Data-engineer.

Основными задачами будут

•Поддержка и развитие хранилищ данных и ETL процессов;

•ClickHouse — сильный уровень. Проектирование витрин, DDL, семейство MergeTree (в т.ч. ReplacingMergeTree), dictionaries, партиционирование, оптимизация тяжёлых запросов, историческая прогрузка;

•CDC-процессы. Понимание принципов Change Data Capture и умение строить/поддерживать потоки из MySQL и MongoDB в ClickHouse: перевод источников/словарей на CDC, валидация, переключение потребителей, разбор рассинхронов. Практика с Kafka;

•ETL + оркестрация. Airflow (разработка и поддержка DAG-ов), выстроенный цикл dev → preprod → prod, Python для пайплайнов.

•Data Quality. Сверки источник ClickHouse, поиск и устранение расхождений, обработка типов/NULL, алертинг на доезд и качество данных, разбор багов данных до первопричины.

•Поддержка инфраструктуры и инструментов для разработки и запуска ETL процессов;

•Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности;

•Анализ технических проблем и участие в их решении.

Продвинутый SQL

•MongoDB — извлечение, нормализация вложенных структур, сверки с CH.

•Git/GitLab — работа через merge request, участие в код-ревью.

•Документирование(Confluence) — поддержка актуальной доки по витринам и пайплайнам.

Какой опыт, знания и качества нужны

•Опыт в администрировании и построении ETL процессов от 3 лет;

•Отличные знания SQL, умение писать сложные, оптимизированные запросы;

•Опыт работы с MySQL и Clickhouse;

•Отличные знания и опыт работы с NoSQL базами (MongoDB);