Data Engineer (June)

Московский метрополитен

Москва

🏢 Офис

Junior

Полная занятость

Россия

Описание вакансии

Вакансия открыта в Инновационном центре «Безопасный транспорт», который входит в структуру Московского метрополитена. С 2017 года мы собираем и анализируем Big Data всего Транспортного комплекса Москвы. Эти данные помогают создавать продукты и проекты, которые улучшают работу транспортной инфраструктуры столицы.

У Инновационного центра более 10 направлений работы: аналитика, моделирование, разработка, консалтинг и другие. Более 300 экспертов ежедневно работают над тем, чтобы дороги Москвы стали безопаснее, а поездки — комфортнее. Если вы хотите видеть результаты своего труда на улицах Москвы, присоединяйтесь к нашей команде.

Основные задачи

•Поддержка работоспособности и дальнейшее развитие хранилища данных

•Разработка и поддержка ETL-процессов для загрузки данных из различных источников (FTP, API, сайты) с использованием Python

•Разработка витрин данных с использованием SQL, Python, PySpark

•Разработка и поддержка дагов в Airflow

•Реализация batch и real-time процессов загрузки данных в различные СУБД: Vertica, PostgreSQL, ClickHouse

•Декомпозиция и оценка трудозатрат по своим задачам

•Code-review, развитие внутренней культуры разработки(после 6 месяцев работы)

•Ведение технической документации и базы знаний

Опыт и навыки

•Законченное высшее образование

•Базовое понимание архитектуры распределённых систем и Big Data технологий (Hadoop, Spark — будет преимуществом)

•Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов

•Навыки программирования на Python, понимание чужого кода, способность писать читаемый и поддерживаемый код

•Понимание принципов работы Git-систем

•Понимание принципов работы систем оркестрации (Airflow)

•Знание основных команд Linux на уровне пользователя

•Знание английского языка на уровне чтения технической документации

•Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию

•Навык работы с ИИ-агентами (промптинг, рефакторинг кода, выбор и адаптация подходящего решения под стек проекта)

•Умение эффективно взаимодействовать в команде, делиться знаниями и помогать коллегам

•Заинтересованность в личном развитии и развитии города

•Релевантный опыт работы от работы 1 года

Условия

•Официальное трудоустройство в соответствии с ТК РФ

•Гибридный формат работы: 5/2, всего 1 день работаем из офиса в центре Москвы (в шаговой доступности от м. Белорусская)

•Расширенный отпуск: 42 календарных дня

•Корпоративные бонусы: бесплатный проезд на метро, корпоративные скидки от компаний-партнеров, льготы на отдых в оздоровительном комплексе метрополитена, специальные программы в лагерях для детей сотрудников и многое другое

•Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата