ЛИАН — системный интегратор с фокусом в аналитике и управлении данными.
Мы работаем в трех направлениях
1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.
2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.
3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.
Сейчас мы приглашаем опытного Data Engineer с опытом ETL-миграции!
Чем предстоит заниматься
•Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
•Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
•Написание и оптимизация SQL для витрин данных и ETL-процессов;
•Разработка DAG-ов в Airflow;
•Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
•Разработка Spark-джобов (PySpark) для больших объемов;
•Интеграция с Kafka для потоковой передачи;
•Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
•Разбор инцидентов по качеству данных и ошибкам загрузки;
•Code review.
Наши пожелания к кандидатам
•Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
•Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
•Оптимизация SQL для highload (партиционирование, индексы, explain plans);
•Oracle (PL/SQL) и PostgreSQL;
•Greenplum и/или Clickhouse;
•Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
•Hadoop (HDFS) и Hive;
•Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
•Опыт работы с биллинговыми системами (телеком-домен).
•Потоковая обработка: Kafka Streams / Spark Streaming;
•Informatica PowerCenter (понимание мигрируемой системы);
•Бинарные форматы хранения в Hadoop;
•Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
•Patroni для кластеризации PostgreSQL/Greenplum;
•S3-хранилища;
•КриптоПро или защищенные каналы передачи данных.
Что мы предлагаем
•Форма трудоустройства: договор оказания услуг с ИП
•Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
•Работа с передовыми технологиями
•Возможности профессионального и карьерного роста
•Полностью удаленная работа
•Регулярная и достойная оплата труда
В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !
