Data Engineer
ANCOR
Москва
🏢 Офис
Senior
Полная занятость
Россия
Описание вакансии
Обязанности
— Разрабатывать и поддерживать хранилище данных на базе ClickHouse;
•Строить и оптимизировать ETL-процессы;
•Писать, оптимизировать и профилировать SQL/NoSQL-запросы;
•Рассчитывать сложные аналитические показатели в витринах данных;
•Настраивать ClickHouse (шардирование, репликация) и интеграцию с Kafka (прием сырых данных, работа с очередностью сообщений, валидация);
•Участвовать в тестировании потоков данных для обеспечения стабильной работы;
•Писать backend-сервисы на Java;
•Участвовать в разработке архитектуры, процессов и инструментов для работы с данными;
•Контролировать качество данных: мониторинг, анализ и устранение проблем.
Требования
— Опыт работы более 5 лет в данной сфере
•Глубокое знание SQL, умение работать с планами запросов, знание Python
•Опыт работы с ClickHouse (администрирование, настройка, оптимизация);
•Опыт работы с брокерами сообщений (Kafka);
•Опыт работы с Kubernetes будет плюсом.
•Опыт Java-разработки (backend);
•Практический опыт участия в проектах по созданию DWH / Data Lake;
•Опыт построения и развития высоконагруженных систем.
Cтек: ClickHouse, Python, SQL, AirFlow, Spark, Apache Kafka, Yandex Cloud, Big Data, Kubernetes, FastAPI / Flask, Java.
Условия
— ИТ аккредитация, официальное оформление по ТК РФ, полностью «белая» зарплата;
•Удаленный формат работы;
•ДМС (через 3 месяца) + стоматология (через год);
•Оплата курсов и конференций;
•Карьерный рост внутри компании;
•Премия за приведенного друга;
•Наставник на первые 3 месяца;
