Middle Data Engineer (СберAds)
ИЦ АЙ-ТЕКО
Москва
≈ до 2,9 тыс. $ · до 2,6 тыс. €
до 230 000 ₽
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии
Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.
В связи с активным развитием проектов в компании открыта вакансия Data Engineer.
ВАМ ПРЕДСТОИТ
•Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде;
•Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления);
•Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных;
•Внедрять и развивать практики Data Quality и DataOps;
•Поддерживать и развивать техническую документацию.
НАШИ ОЖИДАНИЯ ОТ УСПЕШНОГО КАНДИДАТА
•Опыт работы от 3х лет (Обязательно);
•Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы);
•Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром;
•Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач;
•Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов;
•Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач;
•Уверенная работа с Git, понимание принципов CI/CD для данных.
БУДЕТ ПЛЮСОМ
•Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink;
•Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi);
•Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s);
•Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги);
•Базовое понимание ML-процессов (как модели потребляют данные, feature store).
МЫ ПРЕДЛАГАЕМ
•Работа в аккредитованной ИТ-компании;
•Оформление в соответствии с ТК РФ с первого дня работы;
•Формат работы: Офис/гибрид в Москве, также возможен полностью удаленный формат работы в пределах РФ;
•ДМС с первого дня работы (включая стоматологию);
•Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
•Работа в команде, использующей гибкий подход к разработке;
•Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.
Похожие вакансии
Настоящий работодатель никогда не попросит перевести деньги, продиктовать код из SMS, войти под чужим аккаунтом или поставить непонятное приложение. Столкнулся с таким при отклике — прекращай переписку и расскажи нам в чате с основателем или через форму обратной связи.