Data Engineer
Спортмастер
Москва
🏢 Офис
Middle
Полная занятость
Описание вакансии
Мы находимся в поиске Data Engineera в департамент систем клиент-сервер.
Обязанности
•Реализация ETL в Hadoop (с помощью Airflow);
•Работа с различными источниками данных: Oracle MS SQL API личных кабинетов, микросервисы;
•Батч и стримы с помощью PySpark и Kafka;
•Подготовка витрин для анализа (Hive + Spark+ SQL).
Требования
•Уверенное владение Python;
•Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;
•Знание SQL;
•Опыт работы с реляционными базами данных (Oracle).
Наш стек: Kafka, Spark, Airflow, Jira, Confluence, GitLab.
