Сбер·Москва·7 авг.
Middle/Senior Data Engineer
≈ от 200 000 ₽наша оценка по вакансиям этой роли и грейда, у работодателя вилка не указана
🏢 ОфисMiddleПолная занятость
56
Есть о чём спросить
Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.
Наша компания
Создаем поисковый сервис для ответов на запросы пользователей на естественном языке. Предоставляем GigaChat и другим LLM доступ к актуальной информации из интернета, чтобы пользователи получали точные и свежие ответы на разные вопросы. Предстоит развивать пайплайны наполнения хранилища мультимодальными данными, строить контур подготовки данных для векторного и полнотекстового поиска, работать с большими объемами данных и высоконагруженной архитектурой. Задача технически сложная и интересная: важны надежность, масштабируемость, качество данных, свежесть индекса и производительность. Ценим проак
Чем предстоит заниматься
Проектировать и развивать end-to-end пайплайны данных для поисковой платформы: ingest, batch/micro-batch обработка, нормализация, дедупликация, лемматизация, обогащение и подготовка данных к индексации
Интегрировать новые источники и мультимодальные данные, обеспечивая корректность, полноту и воспроизводимость загрузки
Развивать S3 Data LakeHouse и хранилища данных для задач векторного, полнотекстового и гибридного поиска
Оптимизировать Spark-процессы на Kubernetes, в частности производительность, стоимость хранения, потребление ресурсов и стабильность выполнения
Обеспечивать надежность пайплайнов (мониторинг, качество данных, диагностика инцидентов, контроль SLA)
Внедрять CI/CD, тестирование и observability для data pipelines
Работать вместе с ML-инженерами, backend-разработчиками и аналитиками над улучшением качества поиска
Наши требования
3+ лет опыта в роли Data Engineer / ML Engineer / Data Platform Engineer
Продвинутый Python и SQL
Практический опыт с Airflow и Spark/PySpark в production
Опыт разработки и оптимизации batch или streaming/micro-batch пайплайнов для больших объемов данных: от 100 TB до PB+
Уверенное понимание принципов распределенного хранения данных и распределенных вычислений
Опыт анализа производительности Spark jobs: shuffle, skew, partitioning, memory, resource usage
Опыт построения или развития высоконагруженных платформ обработки данных
Умение проектировать Data LakeHouse / Data Management Platform
Опыт работы с Kubernetes и S3-compatible storage
Понимание Apache Iceberg и современных форматов данных: Parquet, partitioning, schema evolution, compaction
Опыт построения мониторинга, алертов и CI/CD для пайплайнов данных
Опыт работы с поисковыми движками: ElasticSearch, OpenSearch, Vespa
Опыт работы с Cassandra или другими distributed NoSQL-хранилищами
Опыт работы с Kafka или другими брокерами событий
Понимание задач vector search, embeddings, ANN/HNSW, hybrid search
Опыт работы с GPU-инференсом моделей, PyTorch
Опыт работы с облачными платформами: AWS, Yandex Cloud, SberCloud
Опыт с observability stack: Prometheus, Grafana
Мы предлагаем
Стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
Комфортный современный офис рядом с м.Кутузовская
Гибридный формат работы: встречаемся очно в офисе 1 раз в неделю
Корпоративный спортзал и зоны отдыха
Уникальная система обучения Сбера для профессионального и карьерного развития
Программа адаптации и помощь руководителя на старте
Расширенный ДМС и льготное страхование семьи
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров
Вознаграждение за рекомендацию друзей в команду Сбера
Корпоративная пенсионная программа
Технологии и навыки
Сбер
Москва
ГрейдMiddle
ЗанятостьПолная занятость
РегионРоссия
ФорматОфис
ИсточникСкрыто
Опубликовано7 авг.
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).