Data Quality Engineer в платформу данных

2ГИС·Удаленно·2 дн назад

Data Quality Engineer в платформу данных

Ориентир по рынку≈ 150 000 – 305 000 ₽наша приблизительная оценка по 43 вакансиям этой роли и грейда, у работодателя вилка не указана

🌍 УдалённоMiddleПолная занятостьПродуктовая

≈ 150 000 – 305 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия свежая: первые отклики читают внимательнее.

3 из 4 в норме

Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона

Деньги

Сумму в объявлении не указали. Ориентир на созвон: столько платят в 43 похожих вакансиях Инженер уровня Middle.

платят меньше150 000 – 305 000 ₽ у половины таких вакансийплатят больше

Вилки нет

Живость

Появилась 2 дня назад. По свежим вакансиям почти всегда действительно нанимают.

Свежая

Описание

Расписано подробно: обязанностей 11, требований 17. Картина ясна до первого созвона.

Обещают: официальное оформление, ДМС и аккредитованная IT-компания
Не сказано: из каких стран можно работать и часовой пояс команды

Подробно

Что требуют

ОбязательноPythonSQLSparkAirflowKafkaClickHouseKubernetesCI/CDdbt

Надбавка к зарплате на этом уровне: Python +40%, SQL +20%, Kafka +20%.

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

Что стоит спросить: вопросы именно к этой вакансии для первого созвона

Когда откликаться

Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Наша компания

Мы строим корпоративную дата-платформу нового поколения единый self-service путь от источника до витрины. Чем больше пользователей самостоятельно создают пайплайны и витрины, тем важнее встроить качество в саму платформу, а не проверять данные вручную в конце. Сейчас в SMT есть ручные проверки и автоматические API-тесты, но нет единой сквозной системы. Ищем Data Quality Engineer, который станет техническим владельцем направления в SMT: построит модель, инструменты и процессы, а затем поможет масштабировать их на всю платформу.

О роли

Это не роль ручного контролёра: качество остаётся распределённой ответственностью. Инженеры пишут проверки в своих процессах, владельцы отвечают за датасеты, методологию мы формируем вместе с Data Governance. Твоя задача дать им автоматические базовые проверки и понятный self-service инструмент для сложных правил, встроенный в оркестрацию, алертинг и разбор инцидентов.

Чем предстоит заниматься

Спроектировать модель качества: измерения, метрики и SLO на датасеты. Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения

Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы

Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов

Дать пользователям язык для сложных проверок декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой

Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно

Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин

Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками

Сделать проверки частью инженерного цикла: версионировать их как код, проводить ревью и доставлять через CI/CD

Поддержать миграцию существующих процессов на платформу: построить сверку старого и нового контуров и доказательно подтверждать совпадение цифр

Совместно с Data Governance и владельцами данных задавать стандарты покрытия и ревью. Помогать инженерам применять инструменты, а не писать все проверки за них

Работать с аналитиками как с пользователями: разбираться, где им больно, и делать инструмент, которым пользуются добровольно

Наши требования

Имеешь опыт работы в роли Data Engineer или Data Quality Engineer от 3-х лет

Хорошо владеешь Python и SQL на уровне промышленной разработки, а не скриптов

Работал с распределённой обработкой: Spark, большие объёмы, понимание, где у обработки узкие места и сколько стоит лишний скан

Знаком с оркестрацией (Airflow или аналоги) и умеешь встраивать логику в пайплайны, а не рядом с ними

Разбираешься в дата-инфраструктуре: DWH и Data Lake, слои, модели данных, витрины

Имеешь опыт с инструментами качества данных Great Expectations, Soda, Deequ, dbt tests, Elementary или собственными решениями. Или строил такое сам

Понимаешь статистику на практическом уровне: умеешь отличить аномалию от сезонности и не завалить команду ложными алертами

Мыслишь продуктово: внутренний инструмент нужен не для галочки, а чтобы им пользовались

Умеешь договариваться и влиять без формальных полномочий: качество данных это всегда разговор с владельцами источников, инженерами и потребителями

Опыт построения self-service инструментов для аналитиков или разработчиков

Работа с открытыми табличными форматами

Опыт с каталогами данных: OpenMetadata, DataHub

Data Contracts и Data Lineage на практике

Anomaly detection на метриках данных, в том числе ML-подходы

Опыт сверки данных при миграции хранилищ

Опыт публичных выступлений и работы с инженерным брендом

Python, SQL, Spark, Airflow, Kafka, S3, Iceberg, StarRocks основной кандидат на роль движка над Iceberg, ClickHouse, Kubernetes, CI/CD. OpenMetadata для каталога и lineage внедряем сейчас. Подход к трансформациям выбираем: dbt или собственное решение