Яндекс·26 сент.
Инженер данных в Путешествия
Ориентир по рынку≈ 130 000 – 295 000 ₽наш грубый ориентир по 131 вакансии этого грейда на рынке, без учёта специальности: у работодателя вилка не указана
🌍 УдалённоMiddleПолная занятостьКорпорация
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.
3 из 4 в норме
Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона
Деньги
Вилку работодатель не назвал. Грубый ориентир: столько платят в 131 вакансии уровня Middle по всему рынку, без учёта специальности.
Живость
Висит 23 дня, признаков фиктивного найма нет.
Описание
Расписано подробно: обязанностей 9, требований 9. Картина ясна до первого созвона.
- Не сказано
- как оформят, из каких стран можно работать и часовой пояс команды
Что требуют
ОбязательноAirflowSQLPythonGoJavaVault
ПлюсомGreenplumClickHouseHadoop
Надбавка к зарплате на этом уровне: Python +40%, SQL +20%.
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Наша компания
Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Наш продукт растёт огромными темпами, и вместе с ним растут наши задачи, например развитие собственного DWH. Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и СlickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектир
Чем предстоит заниматься
Разработка, сопровождение и ревью ETL-процессов поставки данных
Вам предстоит создавать конвейеры для извлечения, трансформации и загрузки данных из различных источников, настраивать их расписание и мониторинг. Важно будет регулярно проверять и улучшать существующий код, оперативно исправлять возникающие ошибки, а также тщательно документировать все преобразования и потоки данных — как собственные, так и коллег, обеспечивая соответствие стандартам качества и производительности
Проектирование структуры хранения данных в разных слоях хранилища
Вы будете определять оптимальные схемы организации данных для каждого слоя, учитывая требования к скорости запросов и объёму хранения. Задача включает разработку моделей данных, настройку партиционирования, индексации и сжатия для повышения производительности, а также согласование структур с командами аналитики и разработки и адаптацию схем при изменении бизнес-процессов
Выявление и оптимизация неэффективных участков в процессах поставки данных
Вам нужно будет анализировать время выполнения ETL-задач, профилировать данные для обнаружения аномалий и избыточности, пересматривать алгоритмы трансформации для снижения нагрузки на систему
Погружение в данные прикладных бизнес-областей и становление в них экспертом
Вы будете детально изучать бизнес-процессы и ключевые метрики компании, разбираться в логике расчёта показателей и источниках их формирования
Больше о разработке в Вертикалях — в нашем телеграм канале
Наши требования
Проектировали DWH (слои, модели хранения данных, ETL-процессы)
Разрабатывали ETL-процессы на Apache Airflow или аналогах
Настраивали поставки данных по API
Разбираетесь в SQL на уровне эксперта
Пишете на одном из языков высокого уровня (Python, Go, Java и т. д.)
Понимаете устройство и архитектуру реляционных баз данных
Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
Пользовались хотя бы одной MPP-СУБД (Greenplum, ClickHouse, Vertica, Teradata и т. д.)
Понимаете принципы работы технологий распределённой обработки данных (Hadoop, MapReduce и MPP)
