Чем предстоит заниматься
Развитие гибридного режима выполнения запросов
Во время выполнения запроса объём данных часто уменьшается на каждом этапе — из-за фильтрации, пересечений и агрегаций. На определённом этапе использование MapReduce может стать избыточным. В таких случаях выгодно переключиться на выполнение оставшихся операций в движке DQ
Пользовательский кластер DQ
Пользовательская нагрузка может быть настолько разнообразной, что сложно подобрать универсальные параметры для работы движка. Мы хотим реализовать возможность настройки пользовательского кластера DQ под конкретные сценарии и профили нагрузки
Ускорение YQL over YT по бенчмаркам
YQL over YT в Яндексе работает на десятках тысяч машин и сотнях тысяч ядер. Нам важно постоянно искать точки для оптимизации исполнения запросов. Мы используем популярные бенчмарки для выявления возможностей улучшения производительности
Публикации и вклад в продукт
Ваши результаты могут стать основой для публикаций, докладов и выступлений на крупных конференциях, а коммиты будут попадать в общую кодовую базу YTsaurus
Больше о бэкенде в Яндексе — в канале Yandex for Backend