Data Engineer (Сербия)

🏢 ОфисJuniorПолная занятость

Зарплата не указана

Навык востребован (Python). Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

Продуктовая IT-компания, занимающаяся разработкой и поддержкой высоконагруженных B2B-проектов в сфере развлечений, игр и спорта, ищет Data Engineer, который поможет строить и оптимизировать инфраструктуру обработки данных, обеспечивая надежные и эффективные процессы работы с большими объемами информации. Наше хранилище данных для аналитики и data science на стеке: S3,Iceberg, ClickHouse, Trino

Чем предстоит заниматься

Проектировать и разрабатывать архитектуру DWH, определять модели данных, распределять слои и создавать витрины

Строить процессы ETL/ELT загрузки и трансформации данных (batch и streaming) из различных источников

Интегрироваться с API , Kafka, Базами данных: настраивать и управлять потоками данных

Обеспечивать качество данных (Data Quality): разрабатывать и автоматизировать DQ-проверки, внедрять процессы мониторинга и алертинга для контроля качества данных

Развивать системы мониторинга и информирования: настраивать метрики и дашборды в Grafana, контролировать производительность

Оптимизировать и поддерживать существующий код: рефакторинг, повышение эффективности ETL-процессов и запросов, устранение узких мест

Управлять версиями кода (GitLab) и вести техническую документацию в Confluence

Наши требования

Опыт работы Data Engineer 2-3 года

Продвинутый уровень Python: опыт в PySpark и Apache Airflow

Глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review

Понимание работы СУБД ClickHouse, Trino и PostgreSQL знание их внутренних механизмов и конфигураций, написание и оптимизация SQL запросов

Опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных

Интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3)

Опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes

Настройка и использование Grafana для визуализации метрик и отслеживания состояния систем

Знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов