Data Engineer

Ориентир по рынку≈ 160 000 – 375 000 ₽наша приблизительная оценка по 9 вакансиям этой роли, у работодателя вилка не указана

🏢 ОфисJuniorПолная занятость

≈ 160 000 – 375 000 ₽наша приблизительная оценка

Наша компания

Привет! Мы строим Data Lake под регуляторное хранилище на базе ClickHouse. Ищем опытного Data Engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной СУБД под нагрузкой.

О роли

Вам предстоит разобраться в сложном legacy-коде, спроектировать и запустить надёжные пайплайны данных, а также поучаствовать в ключевых архитектурных решениях. Мы ждём человека, которому интересно данное направление, который умеет аргументировать свою позицию и берёт ответственность за результат. Технические требования (Hard Skills)

Наши требования

Python: уверенный уровень (автоматизация ETL, работа с Airflow, клиентами БД, тестирование)

Trino: понимание принципов работы, построение запросов, оптимизация JOIN, работа с каталогом

Apache Spark: опыт batch-обработки (PySpark), интеграция с Iceberg/S3, понимание распределённых вычислений

Data Quality: опыт внедрения проверок качества данных, мониторинг аномалий

Мониторинг: построение мониторинга пайплайнов, автоматизация алертинга

Инфраструктура и CI/CD: Git, опыт работы с S3-compatible storage, понимание CI/CD для data-конвейеров

Опыт работы в банковской сфере: знание банковских продуктов, плана счетов, принципов учёта

Знание регуляторной отчётности

Опыт работы с PL+ (ЦФТ)

Опыт проектирования lakehouse-архитектуры

Опыт миграций с legacy-хранилищ

Oracle PL/SQL: чтение и понимание сложного существующего кода (пакеты, хранимые процедуры, функции, тонкости транзакционной логики), умение переносить/перепроектировать бизнес-логику под новый стек

SQL: отличное владение аналитическим SQL: сложные JOIN, оконные функции, CTE, агрегации, оптимизация запросов

ClickHouse: уверенный опыт работы - движки таблиц (MergeTree-семейство и др.), партиционирование, индексы, материализованные представления, движки для интеграции, кодеки сжатия, репликации

Apache Airflow: разработка production-ready DAG, управление зависимостями, retry/backfill, переменные и соединения, мониторинг ошибок

DataLake: понимание архитектур хранилищ, моделирование данных под аналитику, работа с большими объёмами, опыт с Apache Iceberg как плюс

От 3 лет в IT, из них не менее 1 года в роли Data Engineer / ETL-разработчика / инженера данных

Опыт работы с высоконагруженными аналитическими системами и большими объёмами данных

Опыт участия в архитектурных обсуждениях и проектировании решений

Желателен опыт в финансовом секторе / банках

Умение работать в команде и эффективно коммуницировать с аналитиками, архитекторами, разработчиками и бизнесом

Умение аргументировать технические решения и участвовать в конструктивных дебатах

Самостоятельность, проактивность, ответственность за результат

Готовность разбираться в чужом сложном legacy-коде

Внимательность к деталям и аккуратность при работе с критичными финансовыми данными