Чем предстоит заниматься
Формализация требований к продукту
Вам предстоит разбираться в нечётких продуктовых требованиях, помогать продуктовой команде превращать их в логичные принципы и правила, которые станут чёткой инструкцией для исполнителей в Yandex Crowd и нейросетей. Придумывать, как правильно рассуждать про качество ответа, как находить в нём все фактические ошибки и оценивать их значимость для продукта
Поиск и исправление багов LLM через обучение
Вы будете измерять в числах и улучшать качество обучения для RLHF, вместе с ML-разработчиками постоянно анализировать проблемы текущих версий LLM и исправлять их с помощью нашей разметки, разрабатывать и поддерживать удобные инструменты для сбора обучающей выборки и замера метрик в экспериментах
Глубокий анализ качества разметки
Нужно будет собирать и обновлять эталонные сеты разметки (голденсеты), которые идеально соответствуют продуктовым целям и становятся ориентиром для развития проекта, работать с командой AI-тренеров Яндекса, разбирать с ними примеры сложных заданий, формулировать и уточнять продуктовые принципы, опираясь на данные
Развитие больших проектов в Yandex Crowd
Предстоит набирать, обучать и тестировать исполнителей для разметки, разрабатывать процессы постоянного контроля качества, бана и реабилитации, создавать удобные дашборды, которые позволяют быстро отвечать на вопросы про производительность, стоимость и качество нашей разметки
Больше об аналитике в Яндексе — в канале Yandex for Analytics