ГНИВЦ·Москва·14 ч назад
Data Engineer / ETL-разработчик
Ориентир по рынку≈ 130 000 – 275 000 ₽наш грубый ориентир по 199 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🏢 ОфисMiddleПолная занятость
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Вместо вилки в объявлении «конкурентная заработная плата»: что это значит в цифрах, придётся выяснять. Вакансия к тому же свежая, откликаться лучше сейчас.
3 из 4 в норме
Вилку не назвали: какую сумму назвать вам и ниже какой не соглашаться
Деньги
Вместо вилки в объявлении «конкурентная заработная плата». Грубый ориентир: столько платят в 199 вакансиях уровня Middle по всему рынку, без учёта специальности.
Живость
Опубликована сегодня. Раньше не выкладывалась: вакансия новая, а свежие почти всегда живые.
Описание
Обязанности: 13, требования: 11. Понятно, что за работа, ещё до отклика.
- Обещают
- официальное оформление, аккредитованная IT-компания и ДМС со стоматологией
- Известно
- испытательный срок
- Не сказано
- условия испытательного срока
Что требуют
ОбязательноSQLPostgreSQLClickHouseHadoopSparkHiveAirflowKafkaDockerLinux
Надбавка к зарплате на этом уровне: SQL +20%, Kafka +20%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Чем предстоит заниматься
Разработка и сопровождение процессов обработки данных
Проектировать, разрабатывать и сопровождать ETL/ELT-процессы загрузки данных из источников в Озеро данных на базе Hadoop
Разрабатывать и поддерживать пайплайны загрузки и трансформации данных, обеспечивать их стабильную работу и мониторинг
Обеспечивать согласованность, полноту и качество данных на всех этапах жизненного цикла (сбор → хранение → трансформация → представление)
Работа с СУБД и хранилищами Проектировать и оптимизировать схемы хранения данных в PostgreSQL: таблицы, индексы, транзакции, процедуры
Разрабатывать и сопровождать модели данных в ClickHouse: схемы таблиц, партиционирование, тиры хранения, материализованные представления
Разрабатывать и сопровождать SQL-конфигурации для сборки цепочек событий процессов по задачам от аналитиков
Заниматься тонкой настройкой тяжелых Spark-расчетов на кластере: искать узкие места через Spark UI, убирать лишние пересчеты и бороться с перекосами данных
Поддерживать витрины данных для отчётов и аналитики заказчиков. Устранять узкие места производительности, выявлять и исправлять ошибки в данных
Контролировать актуальность, корректность и доступность данных для потребителей
Участвовать в проектировании архитектуры новых данных и хранилищ (ClickHouse, PostgreSQL, Elasticsearch) , выборе форматов и схем
Вести техническую документацию по схемам данных, процессам и регламентам. Соблюдать требования информационной безопасности и регламенты компании при работе с данными
Автоматизировать рутинные операции по обработке и контролю данных. Участвовать в настройке мониторинга пайплайнов и своевременной реакции на сбои загрузки данных
Наши требования
Уверенное знание SQL (JOIN'ы, подзапросы, оконные функции, CTE, настройка планов выполнения)
Опыт работы с PostgreSQL: проектирование БД, оптимизация запросов, работа с индексами, транзакциями и нагрузкой
Опыт работы с ClickHouse: моделирование таблиц, партиционирование, тиры хранения, оптимизация распределённых запросов
Опыт работы с Озером данных на базе Hadoop: понимание архитектуры HDFS и форматов хранения (Parquet, ORC, Avro)
Опыт разработки ETL/ELT-процессов и пайплайнов данных
Понимание принципов обработки больших данных и жизненного цикла данных (сбор → хранение → трансформация → предоставление)
Знакомство с Spark / Hive / HDFS на практическом уровне
Опыт с инструментами оркестрации (Airflow, NiFi и т.п.). Знакомство с потоковой обработкой (Kafka, ClickHouse)
Базовое понимание Docker, Linux, Git. Опыт с BI-инструментами и витринами данных для аналитики. Навыки работы с Python (для скриптов обработки/автоматизации). Активно использовать ИИ-инструменты (ассистенты для написания и проверки кода) в повседневной работе
Применять ИИ для ускорения рутинных задач: написание/рефакторинг SQL, генерация и проверка ETL-сценариев, объяснение ошибок. Владеть практикой промптирования: формулировать задачи для ИИ-ассистентов и критически проверять их выдачу
Использовать ИИ для анализа данных и самопроверки результатов. Соблюдать требования информационной безопасности при работе с ИИ (не передавать чувствительные данные
Мы предлагаем
Гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ
Рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45)
Достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты
Официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц
Заботу о здоровье
Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню
Добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию
Возмещение до 50% затрат на занятия спортом
Развитие и обучение
Профессиональное обучение и сертификация за счет компании
Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов
Партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox
Доступ к корпоративной библиотеке на платформе Alpina Digital
Дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев
Дополнительно
IT-компания GNIVC- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).