Data Engineer (ХОЛД)

Outlines Tech·РФ (удаленно)·22 сент.

Data Engineer (ХОЛД)

Ориентир по рынку≈ 934 000 – 2 543 000 ₽наша приблизительная оценка по 12 вакансиям этой роли и грейда, у работодателя вилка не указана

🌍 УдалённоMiddleПолная занятость🇷🇺 РФ

≈ 934 000 – 2 543 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Вилку работодатель не назвал, но ориентир по рынку есть: он в строке «Деньги». Объявление живое, и что за работа, понятно из текста.

3 из 4 в норме

Вилку не назвали: какую сумму назвать вам и ниже какой не соглашаться

Деньги

Вилку работодатель не назвал. Ориентир на созвон: столько платят в 12 похожих вакансиях Data Engineer уровня Middle.

платят меньше934 000 – 2 543 000 ₽ у половины таких вакансийплатят больше

Вилки нет

Живость

Открыта 27 дней, и признаков фиктивного найма у неё нет.

Живая

Описание

Обязанности: 6, требования: 13. Понятно, что за работа, ещё до отклика.

Обещают: аккредитованная IT-компания, ДМС со стоматологией и техника для работы
Известно: высокие нагрузки
Не сказано: как оформят и часовой пояс команды

Подробно

Что требуют

ОбязательноPostgreSQLSQLOracleClickHouseTarantoolElasticsearchHadoopHiveSparkKafka

Надбавка к зарплате на этом уровне: SQL +20%, Kafka +20%.

Ясно

Полный разбор в Pro

Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме

Сколько просить

Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга

Ваше резюме против требований

Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика

Спросить у работодателя

Что стоит спросить: вопросы именно к этой вакансии для первого созвона

Когда откликаться

Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии

30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro

Наша компания

Команда: интеграционные среды.

Чем предстоит заниматься

Развитие интеграционной среды: разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC

Автоматизация и шаблонизация: создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool)

Разработка инструментов автоматизации: проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных

Поддержка и оптимизация: исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов)

Модернизация витрины: доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных

Документирование: подготовка и ведение проектной документации по результатам разработки

Наши требования

Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow

Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop)

Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark

Опыт работы со стеком: Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3

Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s)

Опыт проведения нагрузочного тестирования систем обработки данных

Экспертное владение SQL и навыками оптимизации сложных запросов

Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow)

Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем

СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive)

Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch

Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL

Инструментарий: Git, Jira, Kubernetes

Мы предлагаем

Развитие и обучение

Проекты для крупного бизнеса, внутренние митапы и разговорные клубы английского языка

Забота и поддержка

Служба заботы о сотрудниках и индивидуальное сопровождение каждого коллеги на всех этапах развития в компании. А еще — ДМС со стоматологией и регулярная обратная связь

Комфорт

Работа в аккредитованной IT-компании, зарплата по рынку, техника для работы и человекоцентричный подход, где сотрудник = внутренний клиент компании

Драйвовое комьюнити

Команда прокаченных специалистов, внутренние события и уникальная корпоративная культура с маскотом IT-тигроми поддерживающим комьюнити

Зарплата: до 363к gross (до ~315к net)