Чем предстоит заниматься
Анализ качества данных: постановка задач, code-review кода сбора данных, поиск аномалий, ошибок и несоответствий в данных (SQL, PySpark, Python)
Подготовка агрегированных витрин данных и выборок для проведения валидации
Формирование отчетов по результатам проведенных проверок
Автоматизация процессов контроля и отчетности: сбор данных, библиотеки по проверкам качества данных и моделей, формирование отчетов (Python, PySpark)
Подготовка требований к формату и составу витрин для поставщиков данных
Участие в проектах, связанных с витринами данных, банковским хранилищем, MLOps