V
Ведущий инженер данных
VK
Москва
🔄 Гибрид
Senior
Полная занятость
Корпорация
Россия
Tech
Описание вакансии
Задачи
•Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
•Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
•Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
•Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
•Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
•Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
Требования
•Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
•Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
•Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
•Использовали Airflow, Luigi или другой оркестратор
•Умеете выбирать технологии для решения конкретных задач
•Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
•Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
•Эффективно общаетесь с людьми, находите общий язык с разными специалистами