Архитектор DWH

Ориентир по рынку≈ 266 000 – 344 000 ₽наш грубый ориентир по 200 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана

≈ 3,3 тыс.–4,2 тыс. $

ГибридSeniorПолная занятостьопубликовано 30 окт.

≈ 266 000 – 344 000 ₽наша приблизительная оценка

Описание

Разбор

Подготовить откликОтклик

История

Наша компания

Мы строим единую в VK платформу данных, где центральная команда DWH выступает провайдером надёжной инфраструктуры, удобных инструментов и стандартов. За сами данные, бизнес-логику и ETL-пайплайны непосредственно отвечают бизнес-юниты. В нашей команде уже есть выделенный Продукт DWH, который развивает Дата-каталог и внутренний фреймворк OneETL. Мы ищем Data Governance Lead, который возглавит методологическую и организационную часть управления данными. Ваша цель — сделать так, чтобы в условиях децентрализованного управления данные компании оставались прозрачными, чистыми, безопасными и приносили

Наши требования

Опыт работы: от 3–5 лет в сфере Data Governance, Data Management или системного/дата-анализа в технологических компаниях с крупным DWH

Понимание современных дата-архитектур: вы чётко понимаете разницу между Data Lake, классическим DWH и концепцией Data Mesh. Знаете, как устроены современные ETL/ELT процессы (идеально, если знакомы со стеком на базе dbt, Airflow/Dagster)

Опыт работы с DG-инструментами: понимание принципов работы современных Data Catalog систем (например, DataHub, OpenMetadata, Alation, Collibra) и фреймворков качества данных (Great Expectations, Soda и так далее)

Продуктовое мышление: вы умеете подходить к регламентам не с точки зрения «написать 100-страничный документ в Word», а с точки зрения удобства для конечного пользователя (инженера или аналитика юнита)

Сильные навыки дипломатии (Soft Skills): умение договариваться, аргументированно отстаивать позицию перед лидерами бизнес-юнитов, продавать ценность порядка командам, у которых «горит» коммерческий бэклог

Выступление в роли главного бизнес-заказчика для Продакта DWH на доработку Дата-каталога и фреймворка OneETL (формирование требований к метаданным, логике сквозного Data Lineage, ролевым моделям доступа)

Формирование требований к библиотекам и шаблонам проверок качества данных (Data Quality Framework), которые Продакт DWH внедряет в OneETL

Дополнительно

Разработка и внедрение единой «конституции данных» (политики, регламенты, стандарты моделирования и документирования), обязательной для всех бизнес-юнитов

Классификация данных по уровням критичности (Tier-1, Tier-2) и формирование SLA по качеству данных для каждого уровня

Классификация данных на наличие Персональной информации, разметка на необходимость данных для аудиторов

Разработка и внедрение системы метрик «здоровья данных» (Data Health Dashboard): мониторинг процента описанных таблиц, покрытия DQ-тестами и критичных инцидентов в разрезе юнитов

Проведение регулярных аудитов зрелости управления данными в юнитах, подсвечивание «слепых зон» и помощь командам в их устранении

Верхнеуровневый контроль кросс-доменных изменений, чтобы минимизировать риски нарушения связей (Data Lineage) между юнитами

Формирование и координация распределённой сети Data Stewards (стюардов данных) на стороне бизнес-юнитов: обучение, онбординг, фасилитация регулярных встреч и синхронизаций

Популяризация культуры бережного отношения к данным (Data Literacy) в компании: проведение воркшопов, митапов, написание понятных гайдов и инструкций для аналитиков и инженеров юнитов

5. Управление командой из трёх-четырёх дата-аналитиков