Тестировщик (LLM, ML)

Цифровые привычки
Москва
🏢 Офис
Middle
Полная занятость
Россия
Описание вакансии

Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера.

Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров.

Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам.

Сейчас мы в поиске Тестировщика с опытом тестирования ML/LLM-систем на проект Сбера. Работа в офисе(Москва)

Обязанности
•Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс

Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы

•Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
•Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений

Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами

•Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код)
Требования
•Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем

Уверенный SQL (у нас GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки

•Python для автоматизации тестов и обработки результатов

Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам

Будет плюсом
Опыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своих
Опыт с LangChain/LangGraph

Знание банковской предметной области, финансовой отчётности (P&L)

Опыт тестирования data-продуктов: витрины, ETL, качество данных
Условия
•Первые 3 месяца работа в офисе, далее гибрид
•Трудоустройство Ип или ГПХ
•Уровень заработной платы обсуждаем на собеседовании(учитываем Ваш опыт и компетенции)
Технологии и навыки
ML
QA
Python
AI-помощник
Источникhh.ru
Опубликовано6 ч назад
Если при отклике просят перевести деньги, назвать код из SMS, войти через чужой аккаунт или установить непонятное приложение — это признаки мошенничества. Не соглашайся и напиши нам через чат с основателем или форму обратной связи.