Разработка системы управления квотами
Предоставляет единый API для работы с любыми LLM
Управляет справедливым распределением ресурсов между пользователями, командами и сервисами
Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам
Поддерживает единый конфиг с возможностью подключения собственных моделей
Помогает безопасно использовать внутренние данные компании при работе с публичными моделями
Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании
Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами. Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM
Задавать и контролировать квоты на разные типы запросов
Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов
Предоставлять аналитику менеджерам и владельцам продуктов
Реализовывать биллинг и cost allocation по бизнес-юнитам
Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace
Интеграции с LLM-провайдерами и внутренними моделями
Подключать LLM-провайдеров и собственные инференсы
Унифицировать форматы запросов и ответов
Разрабатывать механизмы маршрутизации запросов между моделями
Учитывать стоимость, доступность, latency, лимиты и требования безопасности
Поддерживать конфигурацию моделей, namespace, теги и политики доступа
Безопасное использование данных
LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит
Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели
Разрабатывать фильтры, политики и алгоритмы обработки запросов
Участвовать в проектировании решений для защиты внутренних данных
Интегрироваться с внутренними системами контроля, аудита и доступа
Сбор и извлечение данных из веб-источников
Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов
Анализировать HTML-, JavaScript-приложения, сетевые запросы и API
Строить надёжные пайплайны сбора, нормализации и обработки данных
Разрабатывать инструменты для работы с динамическими веб-приложениями
Больше о бэкенде в Яндексе — в канале Yandex for Backend