Поддержка и развитие инфраструктуры BigData-платформы (HDFS, YARN, Spark, Hive и др.)
Автоматизация процессов развертывания, конфигурирования и обновления компонентов
Обеспечение стабильной работы дата-пайплайнов и кластеров обработки данных
Настройка и поддержка CI/CD процессов для команд дата-инженерии и разработки
Мониторинг, логирование и алертинг всех компонентов инфраструктуры
Управление секретами, доступами и безопасностью в кластерах
Совместная работа с дата-инженерами и backend-разработчиками по развитию платформы
Диагностика и устранение инцидентов, performance-тюнинг компонентов
Опыт администрирования Linux-систем (RHEL) на production-уровне
Практический опыт работы с экосистемой BigData (Hadoop/Spark/Hive/Airflow) — обязательно
Уверенное владение Kubernetes, Helm, ArgoCD
Опыт построения CI/CD процессов на базе GitLab CI/CD
Знание Ansible и практика написания плейбуков для автоматизации инфраструктуры
Опыт работы с системами мониторинга и логирования (VictoriaMetrics / Grafana / Loki)
Навыки написания скриптов и утилит на Python
Опыт работы с системами хранения секретов (Vault)
Понимание принципов работы распределённых систем и отказоустойчивой архитектуры
Опыт администрирования кластеров на базе Apache Ambari
Опыт тюнинга производительности Spark / Hive / HDFS
Знание принципов безопасности в Hadoop-экосистеме (Ranger, Kerberos)
Опыт работы с ClickHouse на больших объёмах данных