Data Engineer (Контроль качества)

🏢 ОфисMiddleПолная занятостьКорпорация

Зарплата не указана

Есть о чём спросить

Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Разработка и оптимизация витрин данных и ETL-процессов на платформе Hadoop, с использованием инструментов Spark, Hive, HDFS

Анализ работы существующих ETL процессов, поиск и устранение проблемных мест

Взаимодействие с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным

Сопровождать команд бизнеса и разработки моделей по ad-hoc запросам

Обеспечение качества и доступности данных

Оптимизация производительности обработки данных (например, настройка параметров Spark-джоб для достижения максимальной производительности и эффективности использования ресурсов кластера)

Применение ИИ-агентов для оптимизации и ускорения своих процессов

Наши требования

Глубокое SQL (оконные функции, CTE, оптимизация планов запросов)

Опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления

Опыт работы с scala/python

Понимание устройства хранилищ данных

Опыт работы с большими объёмами данных

Знание общих подходов к оптимизации

Навыки работы с git и linux bash

Промышленный опыт реализации ETL процессов

Общее понимание ИИ-архитектур и ML-алгоритмов

Мы предлагаем

Комфортный современный офис рядом с м. Кутузовская

Офисный формат работы

Ежегодный пересмотр зарплаты и годовая премия

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Подписка Прайм с возможностью совместного использования на трёх близких

Скидки на продукты компаний-партнеров

Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

Ищем единомышленника в команду аналитики банковских рисков. Мы создаём витрины данных для принятия стратегических решений, работаем с крупнейшими объёмами информации о рынке и бизнесе, а наши отчёты читает руководство банка. Если вам интересно видеть практический эффект от своих инженерных решений — присоединяйтесь!