W
Senior Data Engineer в команду платформы данных
Wildberries
🌍 Удалённо
Senior
Полная занятость
Корпорация
E-commerce
Описание вакансии
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.
Мы - команда платформы данных в направлении Trust & Safety.
Наша миссия - обеспечить T&S доступом к достоверным, актуальным и структурированным данным, предоставив надежную технологическую платформу и инструменты для их эффективного использования.
Мы строим платформу, которая объединяет в себе решения для
•Хранения больших данных;
•Высокопроизводительных запросов (OLAP);
•Потоковой и батч-обработки;
•Визуализации и оркестрации данных.
Мы ищем разностороннего инженера, который сможет не только проектировать и разрабатывать пайплайны данных, но и активно участвовать в развитии платформенных сервисов, которому интересно разбираться в новом, который не боится задач на стыке разработки и дата инжиниринга.
Обязанности
•Развитие платформы: внедрение, настройка и поддержка компонентов платформы данных, обеспечение их отказоустойчивости и масштабируемости.
•Архитектура данных: проектирование и оптимизация архитектуры хранения больших данных, разработка эффективных схем данных под аналитические задачи.
•ETL/ELT процессы: настройка и оптимизация пайплайнов обработки данных (как потоковых, так и батчей), обеспечение качества и надежности данных на всех этапах.
•DevOps для Данных: мониторинг производительности кластеров, тюнинг запросов, управление доступом и поддержка пользователей (аналитиков, дата-сайентистов).
•Исследования: быстрое погружение в новые предметные области и технологии для решения нестандартных задач.
•Стек команды: Clickhouse (обязательно), Trino, S3, Apache Iceberg, Cassandra; Apache Flink, Apache Airflow, Python, dbt; Kafka / RedPanda; Apache Superset, Redash.
Требования
•Опыт от 5 лет в области Data Engineering;
•Глубокое понимание принципов работы с Big Data (распределенные вычисления, партиционирование, шардирование);
•Умение проектировать сложные архитектуры решений для обработки данных;
•Отличное знание SQL и опыт оптимизации сложных запросов (особенно для OLAP-систем);
•Опыт работы с потоковой обработкой данных и батч-процессами;
•Уверенное владение Python для написания скриптов автоматизации, интеграционных задач;
•Практический опыт настройки CI/CD пайплайнов для Data проектов: линтеры, тесты, автоматическая выкладка дагов Airflow или dbt-моделей.
Условия
•Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
•Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
•Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
•Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
•Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
•Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.