Senior DWH Developer

Национальная Страховая Информационная Система

Москва

🏢 Офис

Middle

Полная занятость

Соответствие

Войди в аккаунт, чтобы AI оценил твоё соответствие вакансии

Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение — прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).

AI-помощник: сопроводительное письмо, адаптация резюме, тренировка собеседованияПерейти ↓

Описание вакансии

НСИС (Национальная страховая информационная система) - это ядро страхового рынка. Мы - 100% дочерняя компания Центрального банка РФ.

Через нас проходит все: ОСАГО, КАСКО, ДСАГО, страхование жилья, ДМС. Мы - центральный узел, который обеспечивает работу страхования в стране. Если мы остановимся - страхование остановится.

У нас highload-система, микросервисная архитектура из более чем 100 приложений, SLA доступности - 99,95% (чуть больше 4 часов в год на простои, и то не одномоментно). Интегрируемся с такими контрагентами как ГИБДД, РСА, Минцифры, МВД, Госуслуги, работаем на стыке бизнеса, госрегуляторов и технологий. И да, мы также реализуем и коммерческие продукты.

Сейчас мы в поиске Разработчика корпоративного аналитического хранилища данных (Senior DWH Developer)

Вам предстоит

•Разработка нового и развитие существующего функционала корпоративного аналитического хранилища данных на базе PostgreSQL + ClickHouse;

•Оптимизация, рефакторинг и сопровождение существующих решений;

•Проектирование, разработка и сопровождение ETL/ELT-процессов загрузки, трансформации и обработки данных, реализация бизнес-логики аналитического хранилища, разработка механизмов контроля качества данных;

•Анализ требований бизнес-заказчиков, исследование источников данных и участие в проектировании моделей данных;

•Участие в разработке архитектурных решений корпоративного хранилища данных, выборе технологий и инструментов ETL/DWH;

•Подготовка архитектурной, технической и эксплуатационной документации, документирование ETL/ELT-процессов и реализованных технических решений;

•Взаимодействие с командами разработки, аналитики, тестирования и эксплуатации при реализации проектов;

•Участие в выводе решений в промышленную эксплуатацию, приемо-сдаточных и нагрузочных испытаниях.

Для этого Вам потребуется:

•Опыт разработки корпоративных аналитических хранилищ и ETL/ELT-процессов на PostgreSQL от 3 лет;

•Опыт разработки аналитических витрин на ClickHouse от 2 лет;

•Опыт проектирования слоев DWH: Staging, ODS, детальный слой и витрины данных;

•Практический опыт разработки ETL/ELT-процессов; преимуществом будет опыт работы с промышленными ETL/ELT-платформами и инструментами интеграции данных (Apache Hop, Pentaho Data Integration, Oracle Data Integrator и т.п.);

•Опыт реализации инкрементальных загрузок: CDC, Delta, SCD Type 2, обработка поздно поступающих данных;

•Понимание подходов Data Vault, Kimball и Anchor Modeling;

•Экспертное знание SQL и PL/pgSQL, внутреннего устройства PostgreSQL и методов оптимизации запросов и производительности;

•Уверенное знание ClickHouse: колоночное хранение, семейство MergeTree, фоновые слияния и выбор движка под задачу;

•Уверенное владение Python, опыт разработки надежных загрузчиков с логированием, обработкой ошибок и retry-механизмами;

•Практический опыт разработки DAG в Apache Airflow, понимание Scheduler, Executor, Hooks, Operators, Sensors, передачи параметров и идемпотентности задач;

•Понимание принципов работы и областей применения реляционных и колоночных СУБД, MPP-платформ, in-memory СУБД, Data Lake и SQL движков;

•Опыт работы с Git, Jira, Confluence и инструментами CI/CD, включая Jenkins, GitLab CI и Liquibase;

•Знание современных подходов к разработке, тестированию и документированию DWH;

•Опыт работы по Agile/Scrum или Waterfall.

Soft skills

Управленческие способности

Аналитическое мышление

Внимательность к деталям

Умение работать с документацией

Коммуникабельность

Способность работать в команде

Архитектурные навыки