Data Engineer (Команда RecSys)

🌍 УдалённоSeniorПолная занятость

Зарплата не указана

Хорошие условия

Навык востребован (Python), за такой навык на рынке платят больше. Но вилки нет, про деньги придётся договариваться с нуля.

Нажмите на сигнал, чтобы увидеть, на чём он основан

Описание вакансии

Ищем Data Engineer в направлении рекомендаций, который будет совместно с нами строить пайплайны и развивать платформу данных. В нашей команде коллеги быстро растут и получают опыт в разных задачах — от классического ETL для аналитических витрин до потоковой обработки в реальном времени для ML.

В Okko хорошо развиты data-driven-процессы: большое количество A/B-экспериментов, источников и витрин делает работу Data Engineer особенно важной. Здесь ваш вклад реально виден: коллеги ценят результаты вашей работы, а ваши решения напрямую влияют на качество аналитики и эффективность ML-моделей.

В команде рекомендаций сейчас два Data Engineer, и мы ищем коллег, чтобы поддерживать текущий ритм разработки, а также развивать потоковую обработку данных и функциональность feature-store.

Что предстоит делать

поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML.

потоковая обработка данных с использованием Spark Streaming, Kafka, MongoDB.

развитие feature-store как инструмента, наполнение его фичами и интеграция данных для ML-моделей.

документирование, оптимизация и мониторинг пайплайнов и потоков данных.

Наш стек

ClickHouse.

Airflow.

Spark (Spark Streaming, PySpark, Spark SQL).

Kafka.

MongoDB.

Hive.

S3.

DataHub.

Требования

уверенное знание Python и SQL.

опыт построения ETL-процессов с использованием перечисленного стека.

будет плюсом: опыт работы с CI/CD, Docker, Grafana, базовые знания в области ML (обучение и инференс моделей, работа с feature-store).

Условия

необходимое оборудование и софт для работы.

официальное трудоустройство.

ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки.

льготные условия ипотеки в рамках зарплатного проекта.

бесплатная подписка на сервисы партнёров.

корпоративный спорт.

насыщенная корпоративная жизнь.

электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.