Чем предстоит заниматься
Выстраивание системы метрик
Метрики — основа любого продукта. От качества метрик зависит, что в итоге выучат наши ML-модели и в какую сторону будет двигаться продукт. Мы используем систему из офлайн- и онлайн-метрик. Эту систему предстоит улучшать, а для этого нужно понять, где её область применения, какие у неё недостатки и как их исправить
Сбор офлайн-метрик качества базы
Вам предстоит собирать learn-датасет для ML-моделей и формировать метрики их качества. Для этих задач мы используем краудсорсинг и GPT-разметку
Приоритизация задач правильности на основе данных
Решить задачу правильности разом для всей товарной базы — проблема сверхсложная. Очень много категорий товаров и нюансов — чтобы учесть их все, нужны большие ресурсы и запас времени. Но есть более важные срезы и задачи, и команде аналитики нужно определять приоритетность
Больше об аналитике в Яндексе — в канале Yandex for Analytics