Senior data engineer
HeadHunter
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать наше Data-направление.
Стек
Apache Hadoop, Hive metastore, Spark, Flink, Airflow, Trino
Задачи
•Проектирование и разработка конвейеров обработки данных (Data Pipelines).
•Создание и сопровождение решений для пакетной и потоковой выгрузки данных.
•Выстраивание и развитие процессов обработки данных в компании.
•Организация ELT/ETL-процедур.
•Оптимизация производительности процессов обработки данных и работы хранилища.
•Проработка архитектуры хранилища данных
Необходимые знания и компетенции
•Уверенные навыки создания и оптимизации ETL/ELT процессов.
•Практический опыт проработки архитектуры хранилищ данных.
•Уверенное владение SQL и реляционными СУБД (PostgreSQL, MySQL, Oracle и др.).
•Опыт работы с распределенными системами хранения и обработки данных (Hadoop, Spark, Hive и т. п.).
•Уверенное знание Python.
•Опыт работы с Airflow (написание собственных операторов, сенсоров).
•Опыт работы с различными API.
Мы предлагаем
•Гибкое начало рабочего дня с 9 до 11.
•Современный технологический стек.
•Возможность повлиять на выстраивание процессов.
•Сможешь поучаствовать в проекте формирования семантического слоя данных.
•ДМС со стоматологией с первого дня оформления.
•4 day-off в году.
•Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта.
•Промокоды и бонусы от партнеров.
•Электронная корпоративная библиотека.
•Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
•Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.