Data Engineer

🏢 ОфисJuniorПолная занятость

Зарплата не указана

Навык востребован (Python). Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

Проект: Хранилище данных для аналитики и Data Science (не облако). Основная задача на позиции: написание ETL-процедур, слоёв, витрин, применение архитектурных подходов.

О роли

Другие задачи: Разработка и поддержка витрин данных для аналитики эффективности провайдеров, управления трафиком и портфелем контента.

Наши требования

Опыт работы Data Engineer 1–3 года

Продвинутый уровень Python: опыт в PySpark и Apache Airflow

Глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review

Понимание работы СУБД ClickHouse и PostgreSQL, знание их внутренних механизмов и конфигураций

Опыт работы с большими данными: понимание распределённых систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных

Интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3)

Опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes

Настройка и использование Grafana для визуализации метрик и отслеживания состояния систем

Знание архитектур DWH, опыт проектирования слоёв данных и ETL-процессов