VK·Москва·12 сент.
Go-разработчик в команду разработки OneDWH
Ориентир по рынку≈ 225 000 – 460 000 ₽наш грубый ориентир по 200 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🏢 ОфисSeniorПолная занятость
61
Хорошие условия
Навык востребован (Python), работа расписана подробно. Но вилки нет, про деньги придётся договариваться с нуля.
Наша компания
Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов: Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин
О роли
ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus Data Qua
Чем предстоит заниматься
Развивать платформу DWH как продукт
Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL
Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH
Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация
Строить отказоустойчивые решения для критичных данных
Наши требования
Опыт разработки сервисов на Go
Уверенное владение PostgreSQL
Опыт работы с Kafka
Хорошее знание алгоритмов и структур данных, особенно графовых
Знакомство с Java, Python, Spark или YTsaurus
Опыт в области DWH, ETL или дата-инженерии
Опыт работы с Airflow
Опыт работы с CI, CD-пайплайнами в GitLab или другой системе
Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь
