Яндекс·1 окт.
Аналитик-разработчик для оценки качества моделей в Alice AI
Ориентир по рынку≈ 200 000 – 300 000 ₽наша приблизительная оценка по 24 вакансиям этой роли и грейда, у работодателя вилка не указана
🌍 УдалённоMiddleПолная занятостьКорпорация
Стоит ли откликаться
Стоит откликнуться, но спросите про деньги
Сумму в объявлении не указали. Сколько платят за похожую работу, видно в разборе. Вакансия живая, задачи расписаны.
3 из 4 в норме
Зарплата не указана: ваша цель, нижняя граница и фраза для первого созвона
Деньги
Зарплату в объявлении не раскрыли. Ориентир на созвон: столько платят в 24 похожих вакансиях Аналитик уровня Middle.
Живость
Висит 18 дней, признаков фиктивного найма нет.
- Появилась у нас 1 октября 2026 г., 18 дней назад
- Текст у источника меняли 2 раза, последний раз 14 октября 2026 г.
- У источника её видели сегодня
Считается по истории наблюдений за вакансией: сколько раз её переоткрывали, меняли ли текст, как долго висит. Выдачу источника сверяем при каждом обходе: пропажу, возврат и правки текста. Это оценка по косвенным признакам, а не факт. Окончательный вывод за вами.
Описание
Расписано подробно: обязанностей 9, требований 5. Картина ясна до первого созвона.
- Не сказано
- как оформят, из каких стран можно работать и часовой пояс команды
Что требуют
ОбязательноAI
ПлюсомLLM
Полный разбор в Pro
Это короткий разбор. В Pro полный: под эту вакансию и ваше резюме
Сколько просить
Не продешевите: сумма под ваше резюме, нижняя граница и готовые фразы для торга
Ваше резюме против требований
Пройдёт ли ваше резюме фильтр: что совпало с требованиями и что дописать до отклика
Спросить у работодателя
Что стоит спросить: вопросы именно к этой вакансии для первого созвона
Когда откликаться
Стоит ли спешить: за сколько дней эта компания обычно закрывает вакансии
30 дней Pro: полный разбор каждой вакансииЧто ещё входит в Pro
Наша компания
Наша команда занимается офлайн-оценкой больших языковых моделей: как внутренних моделей Alice AI, так и моделей других разработчиков. На заранее подготовленных наборах запросов мы проверяем, какие сильные и слабые стороны есть у каждой модели. Для нас важно не только получить результаты оценки, но и обеспечить простоту самого процесса: запустить необходимые инструменты; если что-то идёт не так, разобраться в сбое; понять, что произошло с данными или логами, и сделать следующий запуск предсказуемее.
Чем предстоит заниматься
Прокачка моделей
Вам предстоит прокачивать наборы запросов через внутренние инструменты для оценки внутренних и внешних моделей
Поддержка инструментов оценки
Вы будете настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять то, что мешает работе. Также нужно будет развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли легко делать то же самое
Исследование новых моделей и данных
Вам нужно будет изучать особенности поведения новых моделей, разбирать непривычные данные и форматы логов. Здесь задачи меняются: вчера проблема была в данных Alice AI, сегодня — в странном формате ответа новой модели, завтра — в инструменте оценки. Предстоит быстро погружаться в малознакомую систему и находить причину проблемы
Помощь с улучшением процесса оценки
Замечать повторяющиеся ошибки, оформлять понятные баг-репорты и предлагать улучшения инструментов и процесса оценки — это также будет входить в ваши задачи
Больше об аналитике в Яндексе — в канале Yandex for Analytics
Наши требования
Готовы оперативно разбираться в большом количестве незнакомых инструментов, данных, логов
Можете самостоятельно запускать и поддерживать технические процессы
Умеете ясно описывать проблему, воспроизводить её и объяснять её суть коллегам
Работали с инструментами оценки моделей или качеством ответов AI-систем, слышали про v1/chat/completions, LLM-as-a-Judge
Автоматизировали процессы и поддерживали внутренние инструменты для работы с данными
Мы против мошенников на площадке: если тебя просят заплатить, продиктовать код или установить непонятное приложение, прекращай общение и сразу пиши нам (чат с основателем или форма обратной связи).