Data Engineer Ценообразование

Ориентир по рынку≈ 154 000 – 229 000 ₽наш грубый ориентир по 199 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана

≈ 1,9 тыс.–2,8 тыс. $

УдалённоMiddleПолная занятостьКорпорацияопубликовано 10 сент.

≈ 154 000 – 229 000 ₽наша приблизительная оценка

Описание

Разбор

Подготовить откликОтклик

История

Чем предстоит заниматься

Проектировать и разрабатывать пайплайны загрузки данных. Делать это оптимально в зависимости от потребностей команд потребителей

Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse: выбор движка таблиц, ключей сортировки и партиционирования, ключей шардирования и репликации

Оптимизировать запросы и хранение: разбираться, почему запрос медленный или таблица растёт быстрее ожидаемого, и чинить это

Разрабатывать и поддерживать DAGи в Airflow: идемпотентность, ретраи, бэкфиллы, зависимости между задачами

Обеспечивать качество данных: проверки по полноте и консистентности, сверки между системами, алертинг и мониторинг пайплайнов

Работать напрямую с продуктовыми командами и аналитиками: разбирать требования, договариваться о контрактах данных, объяснять ограничения и предлагать варианты

Наши требования

Опыт работы с ClickHouse (это ключевой навык для данной позиции. Необходимо уметь идентифицировать проблемы на кластере, понимать как работать с распределенной БД, как оптимально собрать пайплайны, чтобы не убить кластер)

Уверенный SQL, работа с большими объёмами (у нас есть таблицы 50+ Tb)

Владеете Python для разработки пайплайнов, а иногда даже бекенда на FastAPI

Опыт работы с Apache Airflow (опыт разработки и эксплуатации DAGов в проде, понимание идемпотентности и бэкфиллов);

Опыт работы с Apache Kafka (понимание модели (топики, партиции, консьюмер-группы, оффсеты, семантика доставки), опыт построения загрузки из Kafka в хранилище)

Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных

Мы предлагаем

Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое

Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании

Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.

Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников

Скидки и партнерские программы: на обучение, страхование, покупки и многое другое

Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников

Дополнительно

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ

Прайсинг — строит и развивает аналитическое хранилище продукта "Платформа Ценообразования". В зоне ответственности команды 4 продукта разной направленности: аналитика, бекенд, ML