IT_One·Удаленно·29 сент.
Старший инженер данных
Ориентир по рынку≈ 275 000 – 400 000 ₽наш грубый ориентир по 188 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🌍 УдалённоSeniorПолная занятостьАутсорсАнглийский A2
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Объявление живое, и что за работа, понятно из текста.
3 из 4 в норме
Вилку не назвали: какую сумму назвать вам и ниже какой не соглашаться
Деньги
Сумму в объявлении не указали. Грубый ориентир: столько платят в 188 вакансиях уровня Senior по всему рынку, без учёта специальности.
Живость
Открыта 20 дней, и признаков фиктивного найма у неё нет.
Описание
Обязанности: 33, требования: 28. Понятно, что за работа, ещё до отклика.
- Известно
- английский A2
- Не сказано
- как оформят, из каких стран можно работать и часовой пояс команды
Что требуют
ОбязательноGreenplumVaultSparkKafkaAirflowPythonJavaOracleGitCI/CD
Надбавка к зарплате на этом уровне: Python +22%, Kafka +9%, CI/CD +7%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Чем предстоит заниматься
Самостоятельно вести техническое направление или крупный контур данных
Отвечать за архитектурную целостность, производительность, надежность и сопровождаемость решений
Проектировать логические и физические модели DWH, витрины и потоки данных с учетом Data Vault 2.0, происхождения данных, SLA/SLO, масштабирования и стоимости сопровождения
Выбирать архитектурные паттерны загрузки, инкрементальности, восстановления, дедупликации и контроля качества данных
Прорабатывать интеграции с источниками, BI, сервисами и внешними системами, учитывать требования информационной безопасности и разграничения доступа
Проектировать загрузки и интеграции с учетом банковских систем-источников, критичности данных, регламентов обновления и требований к аудиту
Выступать техническим лидером для инженеров данных и ETL-разработчиков
Проводить ревью решений, кода, моделей и пайплайнов
Консультировать коллег по архитектуре и оптимизации
Формировать переиспользуемые подходы для команды, а не только реализовывать отдельные пайплайны
Разрабатывать общие ETL-фреймворки, библиотеки и стандарты команды, сокращающие дублирование и повышающие надежность поставки данных
Наставлять специалистов, участвовать в планировании развития платформы данных и оценке технических рисков
Развивать корпоративную аналитическую платформу, помогать аналитикам и инженерам эффективнее использовать данные и инфраструктуру
Проектировать сложные ETL/ELT-пайплайны в Airflow или аналогичных инструментах
Обеспечивать контроль версий и автоматизированные проверки
Проектировать архитектуру ETL-потоков под разные источники и объемы данных
Выбирать подходящую модель хранения и стратегию загрузки
Внедрять автоматическое восстановление процессов, политики версионирования и развертывания данных, ведение логов и алертинг
Глубоко владеть Apache Spark, проектировать производительные пайплайны под большие объемы и сложную трансформационную логику
Понимать DAG, shuffle, механизмы исполнения Spark (executors), управление ресурсами
Оптимизировать Spark-задачи, устранять узкие места производительности
Настраивать кластерную инфраструктуру и лучшие практики по мониторингу Spark-задач, контролю ресурсов
Организовывать интеграцию Spark с Kafka, Airflow и другими инструментами
Внедрять систему контроля качества данных: полнота, согласованность, своевременность, проверяемость
Проводить регрессионные проверки и мониторинг пайплайнов
Настраивать наблюдаемость загрузок, алертинг, анализ причин инцидентов
Разрабатывать корректирующие действия для предотвращения повторных сбоев
Внедрять проверки качества данных, мониторинг Spark-задач и автоматическое восстановление процессов
Иметь опыт анализа статистики сроков сбора витрин
Готовить SLA/SLO и согласовывать ожидания с бизнес-заказчиками
Проактивно взаимодействовать с архитекторами и заказчиками данных
Предлагать оптимизацию процессов загрузки и хранения под цели бизнеса
Ведет проекты перехода на Spark-инфраструктуру или миграции между DWH-платформами, включая сценарии Oracle → Greenplum или сопоставимые переходы
Наши требования
Опыт построения и развития банковских КХД, ETL/ELT и платформ данных не менее 5 лет, включая работу с большими объемами данных в промышленной среде
Опыт реализации КХД-решений, миграций или модернизации платформы данных с измеримым эффектом по скорости, надежности и масштабируемости
Понимание банковских систем-источников, критичности данных, регламентов обновления и требований к аудиту
Глубокое владение Greenplum (или другими MPP-СУБД): распределение данных, партиционирование, планы выполнения, оптимизация под большие объемы и параллельную обработку
Опыт проектирования логических и физических моделей DWH
Глубокое понимание схем звезда/снежинка и Data Vault 2.0 на уровне архитектурных решений
Глубокое владение Apache Spark: проектирование производительных пайплайнов под большие объемы
Понимание DAG, shuffle, механизмов исполнения Spark (executors), управления ресурсами
Опыт оптимизации Spark-задач и устранения узких мест производительности
Настройка кластерной инфраструктуры и мониторинга Spark-задач
Опыт интеграции Spark с Kafka, Airflow и другими инструментами
Проектирование сложных ETL/ELT-пайплайнов в Airflow (или аналогах)
Python и Java для разработки переиспользуемых фреймворков, библиотек, утилит и средств мониторинга данных
Опыт разработки общих ETL-фреймворков и стандартов команды
Настройка автоматического восстановления процессов, политик версионирования и развертывания данных
Опыт миграции данных между DWH-платформами (Oracle → Greenplum или сопоставимые переходы)
Управление схемами и миграциями (Liquibase или аналоги)
Git и CI/CD-процессы
Аналитическое мышление
Умение объяснять сложные вещи простым языком
Умение структурировать информацию и фиксировать договоренности по итогам встреч
Навыки письменной коммуникации: понятные комментарии, статусы, описания решений, инструкции и документация
Ответственность за корректность результатов
Опыт работы с OpenMetadata или другими каталогами данных
Опыт настройки мониторинга и алертинга для ETL-пайплайнов
Опыт работы с Kafka
Понимание SLA/SLO и их согласование с бизнесом
Опыт миграции между DWH-платформами
Дополнительно
Мы ищем старшего инженера данных для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности
Технологический стек
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).