Senior Data Engineer

X5 Tech
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии

Мы разрабатываем платформу для планирования и управления цепочками поставок, ядром которой становится собственная система IBP (Integrated Business Planning). Команда строит end-to-end дата-пайплайны, интегрирует внешние и внутренние источники данных и обеспечивает надёжное хранение и доступность данных в DWH — от качества этой инфраструктуры зависят точность планирования и миллионы управленческих решений в закупках, продажах и логистике.

🔹 Задача

Развивать дата-платформу и собственную систему IBP: собирать данные из разных источников (онлайн- и офлайн-продажи, ERP, внешние API), очищать, трансформировать и готовить их для процессов планирования, обеспечивая стабильный и масштабируемый поток данных.

🔹 Что предстоит делать
Разрабатывать собственную систему IBP (Integrated Business Planning) и участвовать в развитии её архитектуры
Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
Автоматизировать интеграцию данных из внешних и внутренних источников: продажи, акции, цены, остатки, погода, календари
Настраивать хранение и доступность данных в DWH
Делать платформу более надёжной, масштабируемой и удобной

🔹 Наш стек

PySpark{3,4} / Trino
Kubernetes / Minio / Iceberg / Clickhouse / PostgreSQL
Kafka / RabbitMQ
Airflow 2.11
Python3
Docker
Pytest
Мы предлагаем
Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;
Возможность работать удалённо или в гибридном формате;
Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge;
Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья;
Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»);
Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.

Присоединяйся к команде X5 Tech, чтобы создавать будущее ритейла вместе с нами!

AI-помощник
ИсточникСкрыто
Опубликовано16 ч назад
Настоящий работодатель никогда не попросит перевести деньги, продиктовать код из SMS, войти под чужим аккаунтом или поставить непонятное приложение. Столкнулся с таким при отклике — прекращай переписку и расскажи нам в чате с основателем или через форму обратной связи.