VK·Москва·20 июля
Дата-инженер / DWH в Дзен
🏢 ОфисMiddleПолная занятость
56
Есть о чём спросить
Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.
Наша компания
Дзен является частью большой экосистемы VK. Это крупнейшая новостная платформа, где миллионы пользователей следят за событиями по всему миру. Здесь можно всё: смотреть новости, читать новости, обсуждать новости с ИИ-ассистентом Глифом или стать автором и самому создавать актуальный контент. Мы строим высоконагруженные сервисы и рекомендательные технологии, которые в реальном времени обрабатывают потоки информации и помогают пользователю получить максимально персональную ленту обо всём, что произошло в мире. Дзен — это продукт, который: существует на рынке более 10 лет, охватывает 65 млн пользо
О роли
Мы поставили себе амбициозную цель — стать крупнейшей новостной платформой страны, и ТЫ можешь помочь нам в этом! Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.
Чем предстоит заниматься
Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
Проектировать и развивать модели данных по слоям хранилища
Писать и оптимизировать трансформации на YQL и Python
Поддерживать и расширять оркестрацию пайплайнов
Развивать мониторинг качества данных и реагировать на инциденты
Участвовать в ревью и поддерживать инженерную планку команды
Наши требования
Уверенный Python: production-код, сервисы, а не только скрипты
Крепкий SQL и понимание аналитических запросов и их оптимизации
Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
Аккуратность к качеству данных и к соглашениям (именование, технические поля)
Дополнительно
Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH
Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами
Ищем инженера широкого профиля: данные + сервисы
Технологии и навыки
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).