ЛИАН — системный интегратор с фокусом в аналитике и управлении данными.
Мы работаем в трех направлениях
1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.
2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.
3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.
Сейчас мы приглашаем опытного Data Engineer от уровня middle и выше к нам на проектную основу!
Чем предстоит заниматься
•Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными, построенные на платформе Databricks (с использованием Unity Catalog, Delta Lake и Workflows).
•Проводить детальное исследование, профилирование и очистку наборов данных с целью их распределения по бизнес-доменам и выявления сведений, относящихся к персональным данным (PII).
•Участвовать в создании архитектуры разграничения доступа к данным, уделяя внимание договорённостям о структуре данных (data contracts), управлению правами в каталоге, а также автоматизированному предоставлению и отзыву привилегий через подход «инфраструктура как код» на базе Terraform.
•Взаимодействовать с командой для рецензирования и подтверждения того, что разработанные схемы доступа и контракты данных являются производительными, адаптируемыми и пригодными для многократного применения.
•Обеспечивать корректный запуск продуктов обработки данных и механизмов контроля доступа в строгом соответствии с утверждёнными контрактами, исключая любые нежелательные побочные эффекты.
•Готовить и актуализировать развёрнутую документацию, охватывающую контракты на данные, модели доступа и общие регламенты управления информационными активами.
•Отслеживать работу развёрнутых пайплайнов и выполнять проверки качества данных, чтобы гарантировать их соответствие заданным показателям надёжности, скорости и точности.
•Активно изучать существующие внутренние наработки и искать готовые решения, способствующие повторному использованию компонентов и унификации подходов в рамках общей платформы данных.
Наши пожелания к кандидатам
•Более 3 лет опыта работы в области проектирования данных;
•Опыт работы с Python и широко используемых фреймворков для обработки данных (например, Spark/PySpark для потоковой, пакетной и асинхронной обработки данных);
•Практический опыт работы с Unity Catalog и Delta Lake;
•Опыт автоматизации развертывания объектов Databricks через Terraform (создание кластеров, заданий, секретов, управления доступом — не только инфраструктура, но и конфигурация сервисов);
•Умение оптимизировать производительность Spark-задач (настройка партицирования, кэширования, выбор форматов, борьба с перекосом данных);
•Опыт работы с потоковой обработкой (структурированный стриминг Spark, обработка событий);
•Глубокие фундаментальные знания в области моделирования данных, распределенной обработки данных, SQL и архитектуры хранилищ/Data Lake;
•Обязательным требованием является практический опыт развертывания облачных платформ и инфраструктуры данных (Databricks, GCP или AWS) с использованием Terraform, а также готовность к изучению новых технологий для целей интеграции;
•Опыт внедрения CI/CD для кода обработки данных (автоматические тесты, линтинг, развертывание через Git-репозитории, интеграция с Jenkins/GitLab CI).
•Способность проектировать решения для доступа к данным и управления данными, используя устоявшиеся шаблоны проектирования и различные инструменты проектирования;
•Четкое понимание бизнес-ценности предоставляемых продуктов данных и механизмов управления;
•Опыт разработки программного обеспечения.
•Английский от B2
Что мы предлагаем
•Форма трудоустройства по договору оказания услуг с ИП
•Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
•Работа с передовыми технологиями
•Возможности профессионального и карьерного роста
•Полностью удаленная работа
•Регулярная и достойная оплата труда
В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !
