Наши требования
Понимание архитектуры Lakehouse и принципов работы платформ больших данных
Понимание отличий Big Data/Lakehouse от классических систем хранения данных
Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности)
Знание Python и/или Java
Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.)
Уверенное владение Git
Опыт работы с DBT, Cosmos, Apache NiFi
Опыт разработки на Apache Spark
Понимание принципов работы Trino
Знание форматов данных Iceberg, Parquet, Avro
Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами)
Опыт работы с системами управления проектами и технической документацией
Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop