Data Engineer (DataLens / ClickHouse / BI Migration)
Синимекс
Москва
🏢 Офис
Junior
Полная занятость
Россия
Описание вакансии
Компания Cinimex – разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 29-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий.
Сейчас мы в поисках Data Engineer на проект по миграции BI-отчетности из Power BI в DataLens.
Задачи
•Разработка SQL-скриптов в ClickHouse для загрузки и преобразования данных между слоями хранилища: Raw, Core, Data Mart.
•Разработка Python-компонентов для извлечения данных из Microsoft SQL Server и загрузки в Raw-слой ClickHouse;
•Настройка и сопровождение ETL/ELT-процессов в Apache Airflow;
•Проектирование структуры таблиц и моделей данных в ClickHouse;
•Подготовка витрин данных для построения отчётности в Yandex DataLens;
•Настройка инкрементальной загрузки данных, контроль полноты и корректности загрузок;
•Использование Yandex Data Transfer для репликации и переноса данных между системами;
•Оптимизация SQL-запросов, структуры таблиц, партиционирования и ключей сортировки в ClickHouse;
•Реализация механизмов обработки ошибок, повторного запуска и восстановления ETL-процессов;
•Настройка логирования и мониторинга процессов загрузки данных;
•Проведение сверки данных между Microsoft SQL Server, Power BI и целевыми витринами ClickHouse;
•Анализ существующих источников данных и логики формирования показателей в Power BI;
•Участие в декомпозиции требований к витринам совместно с аналитиками и разработчиками Yandex DataLens;
•Подготовка технической документации по реализованным загрузкам, трансформациям и структурам данных;
•Участие в тестировании, исправлении дефектов и передаче разработанных процессов в промышленную эксплуатацию.
Требования
•Практический опыт работы в роли Data Engineer от 1 года;
•Уверенное знание SQL;
•Опыт разработки и оптимизации запросов в ClickHouse;
•Опыт построения ETL/ELT-процессов;
•Опыт разработки на Python для задач интеграции и обработки данных;
•Практический опыт работы с Apache Airflow (разработка DAG, настройка зависимостей, обработка ошибок, повторные запуски, мониторинг выполнения);
•Опыт интеграции с Microsoft SQL Server;
•Понимание принципов построения многослойного хранилища данных: Raw, Core, Data Mart;
•Опыт реализации полных и инкрементальных загрузок;
•Понимание принципов контроля качества и сверки данных;
•Навыки работы с Git.
Будет плюсом
•Опыт работы с Yandex Data Transfer;
•Опыт работы с сервисами Yandex Cloud;
•Опыт подготовки источников и витрин для Yandex DataLens;
•Опыт участия в проектах миграции BI-отчётности;
•Понимание структуры и принципов работы Power BI, включая Power Query, модели данных и DAX;
•Опыт анализа существующей BI-логики и переноса расчётов из BI-инструмента на уровень хранилища данных;
•Опыт работы с большими объёмами данных и оптимизации производительности ClickHouse;
•Опыт настройки мониторинга и оповещений для ETL-процессов;
•Опыт работа в фарм. отрасли или ретейле;
•Наличие сертификатов.
Мы предлагаем
•Работу в аккредитованной IT-компании;
•Возможность работать удалённо или в одном из комфортных офисов в шаговой доступности от метро;
•Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК);
•ДМС со стоматологией, телемедициной и полисом ВЗР;
•Возможность взять больничный без больничного: 7 дней в году;
•Поэтапную адаптацию от hr и линейного руководителя;
•Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития;
•IT-конференции, курсы, тренинги и сертификации за счет компании;
•Корпоративный английский;
•Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей;
•Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия).
Технологии и навыки
Похожие вакансии
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение — прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).