Data Engineer (scala)

🏢 ОфисSeniorПолная занятостьКорпорация

Зарплата не указана

Навык востребован (AI). Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Cбор, анализ и формализация требований от бизнес-технологов (_БТ_) и владельцев продуктов юридического блока

Поиск, исследование и подключение новых источников данных внутри КАП под задачи правового департамента

Выполнение разовых _(Ad-hoc)_ запросов по заявкам бизнеса для проработки требований, точечного анализа юридических метрик или поиска аномалий в данных

Разработка ETL -процессов на Scala (Apache Spark 3.2+) с последующей пакетной доставкой подготовленных витрин данных в смежные автоматизированные системы (АС)

Оптимизация производительности SQL-запросов к данным уровня HOF (_Head of Function_, сложные CTE, оконные функции, партиционирование) и Scala-кода

Обеспечение стабильности работы продуктивных потоков: разбор инцидентов третьей линии поддержки (_L3_), восстановление целостности данных после сбоев, работа с логами YARN/HDFS

Взаимодействие с командами DevOps для настройки CI/CD пайплайнов доставки кода и оркестрации задач

Ведение технической документации в Confluence и управление задачами в Jira

Наши требования

Опыт работы Data Engineer от 2–3 лет

Уверенное владение Apache Spark (версии 2.x или 3.x). Обязательно знание Scala как основного языка разработки трансформаций

Глубокое понимание архитектуры экосистемы Hadoop (YARN, HDFS, Hive Metastore)

Экспертный уровень SQL: свободное использование оконных функций (ROW\_NUMBER, RANK, LAG/LEAD), сложных джоинов и вложенных запросов

Навык анализа требований бизнеса и перевода их на язык технических спецификаций

Практический опыт расследования и устранения последствий инцидентов L3 в продуктивной среде больших данных

Самостоятельность: умение декомпозировать задачу, оценить сроки и довести ее до релиза без микроменеджмента

Знакомство с инструментами _DevOps_ и практиками CI/CD применительно к доставке Spark-приложений

Будет плюсом: опыт использования AI-инструментов в разработке (LLM-ассистенты для написания и ревью кода, агенты для автоматизации рутинных операций, инструменты автодополнения вроде GitHub Copilot)

Опыт работы с данными в финансовом секторе, ритейле или телекоме; знакомство со специфическими юридическими источниками

Навыки работы с генеративными AI-моделями

Мы предлагаем

Формат работы офис, локация офиса ул Вавилова д.19

Ежегодный пересмотр зарплаты, годовая премия

Корпоративный спортзал и зоны отдыха

Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Подписка Прайм с возможностью совместного использования на трёх близких

Вознаграждение за рекомендацию друзей в команду Сбера

Дополнительно

Ищем самостоятельного дата-инженера для развития потоков данных в прикладном \_Legal\_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных систем-получателей