v
Big Data / ETL Engineer
vacancyit
≈ от 5,8 тыс. $ · от 5,1 тыс. €
от 450 000 ₽
🏢 Офис
Senior
Полная занятость
Описание вакансии
О вакансии
•Предлагаем оформление Контракт с UAE-компанией или самозанятость;
•Испытательный срок — до 2х месяцев (можно закрыть быстрее);
•Оплата в USDT, BTC, ETH или как тебе удобно;
•График работы гибкий;
•Удаленный формат работы из любой точки мира;
Задачи
•Разрабатывать и оптимизировать ETL-пайплайны для обработки больших объемов данных (ClickHouse, Kafka, Airflow, Python);
•Настраивать и поддерживать стабильную работу потоков данных между системами и сервисами;
•Оптимизировать производительность хранилищ и запросов, устранять узкие места инфраструктуры;
•Проектировать и внедрять алгоритмы детекции аномалий и анализа данных;
•Следить за качеством данных: валидация, дедупликация, контроль целостности;
Чего мы ожидаем
•ClickHouse (шардинг, репликация, агрегирующие движки, партиции, TTL, оптимизация);
•Опыт работы с бигдатой (ТБ+, миллиарды строк);
•Python (pandas/numpy) + создание и поддержка ETL/ELT-пайплайнов;
•Оркестрация данных: Apache Airflow (DAG, Sensors, Operators, XCom);
•Опыт применения на практике алгоритмов для отслеживания выбросов: статистические (z-score, iqr, q-test), машинное обучение без учителя (DBSCAN / HDBSCAN, Isolation Forest);
•Интеграция с потоковыми/сырьевыми данными: Kafka или аналог, ingestion → трансформация → загрузка;
•Работа с ончейн-данными: события блокчейна, calldata, трейсы, Web3 API;
•Архитектурная дисциплина: понимание схем данных, partitioning, latency/throughput, мониторинг и качество данных;
•Контейнеризация, CI/CD, автоматизация развертываний;
Будет плюсом
•Rust (или готовность изучать);
•Kafka / Prefect / Arrow / Parquet;
•Опыт продакшена с ончейн-аналитикой или трейдинг-данными;
•DDD / CQRS / event-sourcing — если интересуешься архитектурой;
•Активный GitHub / pet-проекты в data-инженерии.