Чем предстоит заниматься
Выстраивание системы метрик
Метрики — основа любого продукта. От их качества зависит, что в итоге выучат наши ML-модели и в какую сторону будет двигаться продукт. Мы используем систему из офлайн- и онлайн-метрик. Эту систему предстоит улучшать, а для этого нужно понять, где её область применения, какие у неё недостатки и как их исправить
A/B-эксперименты
Эксперименты ранжирования сильно влияют на перераспределение трафика в интернете и на поведение пользователей. А как понять, что стало лучше? Особенно если одна метрика смотрит в позитивную сторону, а другая — в негативную
Поиск точек роста
Какие фичи стоит добавить в ML-модели? На каких срезах мы работаем лучше, а на каких хуже? Почему мы не показали самую релевантную ссылку по запросу, где она потерялась? Как часто такое происходит? Это только часть вопросов, на которые предстоит отвечать
Больше об аналитике в Яндексе — в канале Yandex for Analytics