Ищем Data Analyst уровня Middle в команду развития банковского хранилища данных (DWH).
Нам нужен специалист, который уверенно владеет аналитикой и SQL, умеет работать с большими объёмами данных и понимает архитектуру корпоративного хранилища, подход Data Vault 2.0 и специфику банковской предметной области.
Особенно ценен практический опыт работы с банковскими сущностями: Главной книгой, сделочной моделью, счетами, проводками, оборотами, остатками и финансовыми показателями, а также понимание принципов их формирования в DWH.
Основные задачи
Анализ и обработка больших объёмов данных в DWH.
Написание и оптимизация SQL-запросов в Greenplum.
Анализ источников данных, выявление взаимосвязей, дубликатов и проблем качества данных.
Участие в проектировании и развитии моделей данных на основе Data Vault 2.0.
Анализ бизнес-требований и их трансформация в требования к данным и витринам.
Проработка маппингов по цепочке: источник → DWH → витрина.
Участие в разработке и сопровождении бизнес- и аналитических витрин.
Проверка корректности загрузки данных и проведение сверок между источниками и DWH.
Автоматизация регулярных процессов обработки данных с использованием Apache Airflow.
Взаимодействие с разработчиками, архитекторами, бизнес-заказчиками и BI-командами.
Участие в поиске и устранении проблем качества данных и расхождений.
Что важно знать
Data Vault 2.0
Понимание основных принципов Data Vault 2.0.
Понимание назначения и различий Hub, Link и Satellite.
Знание принципов построения Raw Vault и Business Vault.
Понимание историчности данных и принципов загрузки изменений.
Понимание hash key / hash diff и принципов дедупликации.
Умение читать и анализировать модель данных, построенную по Data Vault 2.0.
Желателен практический опыт проектирования или разработки объектов Data Vault.
Банковская предметная область
Главная книга (ГК);
сделочная модель;
бухгалтерские счета и план счетов;
проводки и корреспонденции счетов;
дебет и кредит;
обороты;
остатки;
операции и сделки;
юридические и физические лица;
продукты и договоры;
принципы формирования финансовых показателей в DWH.
Большим плюсом будет опыт работы с банковскими АБС и источниками данных, например ЦФТ, а также опыт построения банковских витрин и отчётности.
SQL / Greenplum
Уверенное знание SQL на уровне Middle.
Сложные SELECT, JOIN, CTE, оконные функции и подзапросы.
Понимание принципов работы с большими объёмами данных.
Умение анализировать планы выполнения запросов.
Понимание принципов распределения данных и специфики Greenplum.
Опыт оптимизации SQL-запросов и поиска причин деградации производительности.
Понимание особенностей партиционирования и распределения таблиц будет плюсом.
Apache Airflow
Практический опыт работы с Apache Airflow.
Понимание понятий DAG, task, operator, dependency.
Умение читать и анализировать существующие DAG.
Навык создания и сопровождения простых DAG.
Понимание расписаний, повторных запусков (retries), логирования и контроля ошибок.
Желательно понимание взаимодействия Airflow с DWH и ETL/ELT-процессами.
2–4 года опыта в Data Analytics, Data Engineering или DWH.
Уверенное знание SQL.
Практический опыт работы с Greenplum или другой MPP-СУБД.
Знание Data Vault 2.0 на уровне уверенного понимания архитектуры и принципов построения моделей.
Опыт работы с Apache Airflow.
Опыт работы с большими объёмами данных.
Понимание принципов построения корпоративного хранилища данных.
Опыт работы в банковской предметной области будет существенным преимуществом. Понимание Главной книги и сделочной модели — один из ключевых критериев.
Опыт работы с ЦФТ.
Опыт построения банковских витрин.
Опыт работы с PowerDesigner или другими CASE-средствами моделирования.
Знание Kimball / 3NF в дополнение к Data Vault.
Опыт работы с BI-системами.
Знание Python на базовом или среднем уровне.
Опыт работы с Git.
Понимание metadata-driven подхода к построению DWH.
Нам нужен не просто специалист, который умеет писать SQL, а аналитик, способный разобраться в том, что представляют собой банковские данные, откуда они приходят, как связаны между собой и как корректно представить их в хранилище.
SQL + Greenplum + Data Vault 2.0 + Airflow + банковскую предметную область + понимание архитектуры DWH.
