Аналитик-разработчик в LLM Блендер

Ориентир по рынку≈ 296 000 – 386 000 ₽наша приблизительная оценка по 9 вакансиям этой роли и грейда, у работодателя вилка не указана

≈ 3,6 тыс.–4,7 тыс. $

🔄 ГибридMiddleПолная занятостьКорпорация

≈ 296 000 – 386 000 ₽наша приблизительная оценка

Стоит ли откликаться

Стоит откликнуться, но спросите про деньги

Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Правда, вакансия открыта уже давно.

2 из 4 в норме

Открыта долго: как понять до отклика, ищут ли ещё

Наша компания

В Поиске Яндекса, помимо обычных ссылок на веб-страницы (документов), есть множество тематических блоков: картинки, видео, ответ нейросети от Алисы, калькулятор, курс валют и др. Мы делаем офлайн-метрику, основанную на LLM-разметке релевантности тематических блоков запросам по инструкции. Вам предстоит развивать её и делать ранжирование блоков в Яндексе ещё лучше, а количество удовлетворённых пользователей — ещё больше!

О роли

В команде вы будете разрабатывать метрики, определяющие качество генеративного поиска, применять современные ИИ-технологии и участвовать в создании новых инструментов оценки качества, результаты которых быстро попадают в продакшен и влияют на пользовательский опыт.

Чем предстоит заниматься

Улучшение офлайн-метрики ранжирования тематических блоков

Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать и реализовывать способы исправления проблем. Результат напрямую влияет на продакшен, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске

Сбор бенчмарка ранжирования

Офлайн-метрика замеряет качество поиска, но нужно замерять качество и самой метрики! Именно для этого нужен бенчмарк — набор эталонных оценок ранжирования. Его сбор — во многом продуктовая задача, ведь бенчмарк задаёт эталонное ранжирование

Построение и поддержка аналитических моделей в оценке качества Поиска

Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмки новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их устранения. Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты

Работа с офлайн-метриками всех компонентов выдачи

Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков. Для каждого из этих компонентов тоже существует офлайн-сигнал. В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Наши требования

Имеете опыт руководства или менторства в аналитике

Умеете выстраивать стабильные и прозрачные рабочие процессы

Обладаете глубокими знаниями математики

Обладаете знаниями в области машинного обучения, имеете опыт внедрения моделей

Участвовали и побеждали в олимпиадах по математике, физике, программированию

Читаете и понимаете профильные тексты на английском языке

Технологии и навыки

LLM

Яндекс

Зарплата≈ 296 000 – 386 000 ₽наша оценка

ГрейдMiddle

ЗанятостьПолная занятость

РегионРоссия

ФорматГибрид

ИсточникСкрыто

Опубликовано21 авг.

Все вакансии компании

Зарплаты ML-инженера

AI-помощник

под эту вакансию

Войди, чтобы AI оценил твоё соответствие вакансии и написал сопроводительное письмо