Как решить задачу создания бизнесового помощника, чтобы бизнес остался доволен
Что проверяют
Умеете ли вы превратить размытое «сделайте помощника» в задачу с измеримым результатом, о котором бизнес договорился заранее. Технологию интервьюер оценивает во вторую очередь, его интересует, как вы поймёте, что всё получилось. Следом часто спрашивают, как вы будете оценивать качество ответов.
Как отвечать
Сегодня под бизнесовым помощником обычно понимают ассистента на LLM, который отвечает по внутренним документам или выполняет действия в системах компании. Каркас:
- задача и метрика: какой процесс ускоряем и для кого. Метрику согласуйте до разработки: доля вопросов, закрытых без человека, время на обработку обращения, число эскалаций. Зафиксируйте текущее значение, иначе улучшение нечем будет показать;
- данные и доступы: где лежат знания, насколько они свежие, кто их обновляет. Помощник не должен показывать сотруднику документы, к которым у того нет доступа, поэтому права проверяются на этапе поиска;
- архитектура: чаще всего RAG, то есть поиск по базе знаний (векторный или гибридный с BM25) плюс генерация со ссылками на источники. Вызов инструментов и агентные сценарии добавляют, когда помощник должен что-то делать, а не только отвечать;
- оценка: эталонный набор из реальных вопросов с правильными ответами, отдельно метрики поиска и качества ответа. Модель-судья ускоряет проверку, но её оценки сверяют с разметкой людей;
- ограничения: о чём помощник не отвечает, как говорит «не знаю», какая задержка и стоимость одного запроса;
- пилот: небольшая группа пользователей, сбор оценок и логов, затем расширение. Без мониторинга после запуска помощник тихо деградирует, когда меняются документы.
Где спотыкаются
Сразу выбирают модель и фреймворк, не спросив, какую проблему решаем. Бизнес остаётся недоволен не из-за модели, а потому что помощник решает не ту задачу.
Не договариваются о метрике заранее. Тогда успех оценивают по впечатлению от демо, а одно неудачное демо перечёркивает месяцы работы.
Проверяют качество на десятке вопросов, придуманных самой командой. Реальные пользователи спрашивают иначе, и без выборки из настоящих обращений цифры ничего не значат.