Чем предстоит заниматься
Разрабатывать и оптимизировать ETL‑процессы в Databricks с использованием Apache Spark
Создавать и поддерживать data pipelines на AWS (S3, Glue, Lambda)
Писать Spark‑приложения на Python или Scala для обработки больших объёмов данных
Настраивать и администрировать кластеры Databricks, обеспечивая их масштабируемость и безопасность
Внедрять мониторинг и отладку рабочих процессов с помощью AWS CloudWatch и Databricks Jobs