Middle/Senior Data Engineer

🏢 ОфисMiddleПолная занятостьКорпорация

Зарплата не указана

Есть о чём спросить

Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Чем предстоит заниматься

Проектировать и развивать end-to-end пайплайны данных для поисковой платформы: ingest, batch/micro-batch обработка, нормализация, дедупликация, лемматизация, обогащение и подготовка данных к индексации

Интегрировать новые источники и мультимодальные данные, обеспечивая корректность, полноту и воспроизводимость загрузки

Развивать S3 Data LakeHouse и хранилища данных для задач векторного, полнотекстового и гибридного поиска

Оптимизировать Spark-процессы на Kubernetes, в частности производительность, стоимость хранения, потребление ресурсов и стабильность выполнения

Обеспечивать надежность пайплайнов (мониторинг, качество данных, диагностика инцидентов, контроль SLA)

Внедрять CI/CD, тестирование и observability для data pipelines

Работать вместе с ML-инженерами, backend-разработчиками и аналитиками над улучшением качества поиска

Наши требования

3+ лет опыта в роли Data Engineer / ML Engineer / Data Platform Engineer

Продвинутый Python и SQL

Практический опыт с Airflow и Spark/PySpark в production

Опыт разработки и оптимизации batch или streaming/micro-batch пайплайнов для больших объемов данных: от 100 TB до PB+

Уверенное понимание принципов распределенного хранения данных и распределенных вычислений

Опыт анализа производительности Spark jobs: shuffle, skew, partitioning, memory, resource usage

Опыт построения или развития высоконагруженных платформ обработки данных

Умение проектировать Data LakeHouse / Data Management Platform

Опыт работы с Kubernetes и S3-compatible storage

Понимание Apache Iceberg и современных форматов данных: Parquet, partitioning, schema evolution, compaction

Опыт построения мониторинга, алертов и CI/CD для пайплайнов данных

Опыт работы с поисковыми движками: ElasticSearch, OpenSearch, Vespa

Опыт работы с Cassandra или другими distributed NoSQL-хранилищами

Опыт работы с Kafka или другими брокерами событий

Понимание задач vector search, embeddings, ANN/HNSW, hybrid search

Опыт работы с GPU-инференсом моделей, PyTorch

Опыт работы с облачными платформами: AWS, Yandex Cloud, SberCloud

Опыт с observability stack: Prometheus, Grafana

Мы предлагаем

Стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты

Комфортный современный офис рядом с м.Кутузовская

Гибридный формат работы: встречаемся очно в офисе 1 раз в неделю

Корпоративный спортзал и зоны отдыха

Уникальная система обучения Сбера для профессионального и карьерного развития

Программа адаптации и помощь руководителя на старте

Расширенный ДМС и льготное страхование семьи

Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

Бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров

Вознаграждение за рекомендацию друзей в команду Сбера

Корпоративная пенсионная программа

Дополнительно

Создаем поисковый сервис для ответов на запросы пользователей на естественном языке. Предоставляем GigaChat и другим LLM доступ к актуальной информации из интернета, чтобы пользователи получали точные и свежие ответы на разные вопросы

Предстоит развивать пайплайны наполнения хранилища мультимодальными данными, строить контур подготовки данных для векторного и полнотекстового поиска, работать с большими объемами данных и высоконагруженной архитектурой. Задача технически сложная и интересная: важны надежность, масштабируемость, качество данных, свежесть индекса и производительность. Ценим проактивность, инженерное мышление и желание развиваться