Data engineer в команду SMT

Ориентир по рынку≈ 235 000 – 470 000 ₽наш грубый ориентир по 200 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана

🏢 ОфисSeniorПолная занятость

≈ 235 000 – 470 000 ₽наша приблизительная оценка

Хорошие условия

Навык редкий и дорогой (Kafka), готовы вкладываться в обучение. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Наша компания

Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу. С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сей

Чем предстоит заниматься

Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform

Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse)

Работать с большими объёмами данных и высоконагруженными Kafka-топиками

Строить отказоустойчивые пайплайны обработки и доставки данных

Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных

Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP)

Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI)

Наши требования

Опыт построения дата-платформ (SelfService инструменты и процессы)

Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data contracts)

Опыт построения Data Lineage и работа с Data Catalog

Инфраструктурный опыт: Docker, Kubernetes, CI/CD

Мы предлагаем

2ГИС — аккредитованная IT-компания

У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске

Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании

Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента

Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра

Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов

Дополнительно

Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой

Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд

Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами

Возможность реализовать техрешения, которые трудно было бы внедрить в рамках существующего кода/подходов

Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных

Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer

Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий)

Хорошо понимает, как работает Spark и умеет его готовить

Работал с ClickHouse и знает, как «выжать» из него максимум

Знаком с построением дата-архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Goverments)

Умеет проектировать пайплайны под отказоустойчивость

Хорошо владеет одним из языков программирования

Знает SQL и может читать логику отчетов без боли