Эта вакансия в архивеПосмотреть похожие вакансии ↓
Банк ЦентрКредит·Алматы
Senior QA-инженер (AI / Automation)
Ориентир по рынку≈ 2 000 – 2 900 $наша приблизительная оценка по 25 вакансиям этой роли и грейда, у работодателя вилка не указана
ГибридMiddleПолная занятостьопубликовано 7 окт.
Описание
Разбор
Подготовить откликОтклик
История
Наша компания
Мы ищем Эксперта, который возьмёт на себя контроль качества AI-решений банка. Вы будете отвечать за то, чтобы модели и AI-агенты работали надёжно, предсказуемо и соответствовали бизнес-, техническим и регуляторным требованиям. Это гибридная роль: с одной стороны — построение системы тестирования AI-решений, с другой — разбор отдельных частей проектов в качестве системного аналитика. Вы будете работать с ключевыми процессами банка и напрямую взаимодействовать с разработчиками, стейкхолдерами и риск-подразделением.
О роли
От вашей работы зависит качество AI-решений и развитие стандартов QA в этом направлении.
Чем предстоит заниматься
Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка
Строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов
Давать заключение о готовности проекта к промышленной эксплуатации
Внедрять мониторинг искажения данных и моделей, готовить документацию (Model Card)
Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем
Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей
Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости
Участвовать в технической экспертизе моделей при согласовании с риск-подразделением
Наши требования
Опыт тестирования и обеспечения качества AI/ML-решений (LLM, AI-агенты, пайплайны)
Понимание специфики QA для LLM: оценка качества генерации, галлюцинации, PII-утечки, контроль формата
Практический опыт построения pipeline оценки (LLM-as-judge, автоматические метрики, ручная экспертиза)
Навыки системного анализа: умение разобрать проект на части, описать требования и предложить решения
Опыт red-team / adversarial-тестирования
Понимание принципов мониторинга данных и моделей
Готовность работать с регуляторными и риск-требованиями
Опыт менторства и проведения технических интервью
Если вас просят заплатить, продиктовать код или установить непонятное приложение, прекратите общение и напишите нам в чат с основателем или через форму обратной связи.