Детский мир·Москва·30 сент.
Data Engineer (Hadoop / Spark)
Ориентир по рынку≈ 140 000 – 300 000 ₽наш грубый ориентир по 192 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🏢 ОфисMiddleПолная занятость
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.
3 из 4 в норме
Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона
Деньги
Зарплату в объявлении не раскрыли. Грубый ориентир: столько платят в 192 вакансиях уровня Middle по всему рынку, без учёта специальности.
- Кроме оклада: премия. Размер не назван, а от него зависит доход за год.
Живость
Висит 19 дней, признаков фиктивного найма нет. Повторных публикаций не было.
Описание
Расписано подробно: обязанностей 16, требований 35. Картина ясна до первого созвона.
- Обещают
- официальное оформление, ДМС и техника для работы
Что требуют
ОбязательноHadoopSparkKafkaAirflowdbtClickHouseSupersetGrafanaKubernetesDocker
ПлюсомScala
Надбавка к зарплате на этом уровне: Kafka +20%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Наша компания
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных. Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний.
О роли
Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
Чем предстоит заниматься
Разрабатывать и оптимизировать batch-процессы на Apache Spark
Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных
Создавать и поддерживать витрины данных в Hadoop
Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера
Развивать архитектуру Data Lake и подходы к организации и хранению данных
Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO)
Автоматизировать процессы с помощью Apache Airflow и Apache NiFi
Поддерживать трансформации данных в dbt Core
Развивать и поддерживать витрины данных в ClickHouse
Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности
Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы
Внедрять проверки качества данных и мониторинг пайплайнов
Исследовать причины сбоев и деградации производительности
Помогать аналитикам и дата-сайентистам эффективно работать с платформой
Участвовать в развитии внутренних инструментов и стандартов Data Engineering
Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes
Наши требования
От трёх лет опыта работы с Hadoop и Apache Spark
Знание основных компонентов Hadoop и принципов работы HDFS и Spark
Глубокое понимание архитектуры Spark и принципов распределённых вычислений
Опыт разработки и оптимизации Spark batch jobs
Уверенное владение SQL
Опыт проектирования DWH или Data Lake
Опыт построения ETL/ELT-процессов
Практический опыт работы с Apache Airflow
Знание форматов хранения данных
Понимание принципов партиционирования и организации данных в Data Lake
Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера
Умение анализировать производительность распределённых приложений и находить узкие места
Умение писать чистый, тестируемый и поддерживаемый код
Готовность принимать технические решения и отвечать за результат
Опыт разработки на Scala
Знание Kafka и принципов потоковой обработки данных
Опыт работы с ClickHouse и оптимизации запросов
Опыт работы с Apache Superset
Знакомство с Apache NiFi и dbt Core
Опыт эксплуатации приложений в Kubernetes
Знание Docker, Helm и GitLab CI/CD
Опыт работы с DataHub или другими Data Catalog решениями
Опыт построения мониторинга data-платформ и пайплайнов
Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter
Опыт работы с большими Hadoop-кластерами и высокими объёмами данных
Хранение и обработка: Hadoop 3, HDFS, Apache Spark
Доставка и обмен данными: Kafka, S3
Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
Аналитические хранилища: ClickHouse
Ad-hoc аналитика: Hue, Jupyter
Каталог данных: DataHub
BI и визуализация: Apache Superset, Grafana
Мониторинг: VictoriaMetrics, Grafana
Инфраструктура: Kubernetes, Docker, Helm
CI/CD: GitLab CI/CD
Мы предлагаем
Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию
Совокупный доход: оклад + годовой бонус
График работы: 5/2 (гибридный формат работы)
Техника для работы
Полис ДМС
Программа Best Benefits
Внутреннее обучение
Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании
Присоединяйтесь к нам и станьте частью истории бренда с историей!
Детский мир
Москва
Зарплата≈ 140 000 – 300 000 ₽наша оценка
ГрейдMiddle
ЗанятостьПолная занятость
РегионРоссия
ФорматОфис
ИсточникСкрыто
Опубликовано30 сент.
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).