Streaming Data Engineer
Ориентир по рынку≈ 147 000 – 212 000 ₽наш грубый ориентир по 199 вакансиям этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
≈ 1,8 тыс.–2,6 тыс. $
УдалённоMiddleПолная занятостьИз РоссииРелокацияопубликовано 29 окт.
≈ 147 000 – 212 000 ₽наша приблизительная оценка
Описание
Разбор
Подготовить откликОтклик
История
Наша компания
Одна из крупнейших компаний, разрабатывающих технологические решения для entertainment-индустрии, находится в поисках сильного Streaming Data Engineer для развития современной data-платформы и высоконагруженных систем обработки данных.
Чем предстоит заниматься
Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных
Обеспечивать обработку данных в режиме реального времени (за доли секунды)
Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем
Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints)
Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем
Разрабатывать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers
Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности
Наши требования
Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка
Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы
Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward)
Уверенное знание SQL (агрегации, JOIN, поведение NULL)
Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции
Понимание принципов распределённых систем и отказоустойчивости
Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения
Опыт с Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend)
Опыт со Spark Streaming или другими стриминговыми движками
Знание вероятностных структур данных (HyperLogLog и аналоги)
Опыт работы с высоконагруженными системами (тысячи событий в секунду)
Мы предлагаем
Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
Гибкий формат работы: удалённо, гибридно или из офиса
Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи
ДМС со стоматологией после испытательного срока
Компенсация спорта, английского языка и сессий с психологом
Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды
Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы
