Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)
Lamoda Tech
Москва
🏢 Офис
Senior
Полная занятость
Россия
Описание вакансии
Мы в поисках Big Data Infrastructure Engineer в команду по обеспечению надежности данных. Ты будешь участвовать в развитии и эксплуатации платформы данных компании. Поддерживать текущий контур в ЦОД и развивать новую платформу на базе Yandex Cloud.
Мы ищем специалиста с опытом эксплуатации распределенных data-систем, готового принимать инженерные решения, автоматизировать процессы, повышать надежность платформы данных и помогать DE, DWH, Analytics и DS-командам быстрее и безопаснее работать с данными.
Основной фокус роли - надежность, автоматизация, наблюдаемость, эксплуатационная зрелость и развитие платформенных возможностей для работы с данными.
Чем предстоит заниматься
•Развивать и сопровождать текущую дата-платформу (Hadoop, Oracle, Vertica);
•Участвовать в построении Lakehouse-платформы на базе Yandex Cloud;
•Проектировать, разворачивать и сопровождать платформенные сервисы для обработки, хранения, оркестрации и доступа к данным;
•Автоматизировать эксплуатацию и развертывание инфраструктуры с использованием Terraform, Ansible, Helm и GitOps-подходов;
•Развивать Kubernetes-контур дата-платформы: workloads, операторы, изоляцию окружений, управление ресурсами, storage, ingress, секреты, мониторинг и диагностику проблем;
•Поддерживать и развивать системы оркестрации и выполнения data-пайплайнов: Airflow, Spark, Trino, JupyterHub и связанные компоненты;
•Развивать мониторинг и алертинг дата-платформы: доступность сервисов, задержки, ошибки, утилизация ресурсов, состояние пайплайнов, свежесть и качество данных;
•Участвовать в построении практик DataOps: проверка схем, контроль миграций, контроль качества и свежести данных, воспроизводимость поставки данных, управление изменениями;
•Обеспечивать надежную эксплуатацию платформенных компонентов в гибридной инфраструктуре;
•Оптимизировать производительность, устойчивость и стоимость инфраструктуры данных;
•Взаимодействовать с командами DE, DWH, Analytics, DS, MLOps, GenAIOps по вопросам стабильности, масштабируемости и развития дата-платформы;
•Исследовать новые инструменты и подходы в области DataOps, Lakehouse и Data Platform Engineering, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы.
Мы ожидаем
•Опыт промышленной эксплуатации дата-платформ, распределенных систем хранения или обработки данных;
•Понимание архитектуры современных платформ данных: DWH, Data Lake, Lakehouse, OLAP, batch-обработка, оркестрация пайплайнов и сервисы доступа к данным;
•Опыт работы с системами обработки и доступа к данным: Airflow, Spark, Trino, JupyterHub или аналогичными решениями;
•Уверенный опыт работы с Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем;
•Опыт работы с Kubernetes, Helm и Docker в production окружениях;
•Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, Helm, GitOps-подходы;
•Опыт работы с системами контроля версий и организации CI/CD: GitLab, Bitbucket, Bamboo или аналогичными решениями;
•Уверенное владение Python или другим языком для автоматизации, разработки внутренних инструментов и интеграций;
•Уверенный опыт работы с SQL и понимание принципов оптимизации запросов в аналитических системах;
•Понимание принципов эксплуатации распределенных систем: отказоустойчивость, масштабирование, балансировка нагрузки, управление ресурсами, резервирование и восстановление;
•Опыт настройки мониторинга и алертинга: Prometheus Stack, Grafana, Alertmanager, логи, метрики и технические дашборды;
•Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными.
Будет плюсом
•Опыт эксплуатации Hadoop, HDFS, Hive, YARN или смежных компонентов Big Data-платформ;
•Опыт эксплуатации Oracle, Vertica, ClickHouse, Trino, PostgreSQL или других аналитических и транзакционных хранилищ;
•Опыт работы с Yandex Cloud, S3-совместимыми хранилищами, managed-сервисами или гибридной инфраструктурой;
•Опыт работы с Kafka, Debezium или другими инструментами потоковой доставки данных;
•Опыт внедрения DataOps-практик: тестирование схем, миграций и пайплайнов, контроль свежести данных, data contracts, автоматические проверки качества.
