Доволен ли заказчик результатом модели чат-бота

Что проверяют

Умеете ли вы договориться с заказчиком о критериях успеха заранее и потом честно показать результат в его метриках, а не в своих. Следом спрашивают: «А как вы это измеряли?» и «Что не получилось?».

Как отвечать

Стройте ответ на своём проекте, а не на шаблоне. Каркас:

• контекст: что за бот, кто заказчик (внешний клиент, продуктовая команда, поддержка), какую проблему решали;
• критерии приёмки: о чём договорились до старта. Для бота обычно это доля диалогов, закрытых без оператора (containment rate), доля эскалаций, CSAT после диалога, время до ответа. Модельные метрики идут отдельно: точность классификации интентов, для RAG-ботов доля ответов, опирающихся на найденные документы, и доля галлюцинаций на размеченной выборке;
• как мерили: офлайн-набор реальных обращений с разметкой, A/B-тест или пилот на части трафика, ручная проверка выборки диалогов. Если использовали LLM как оценщика, скажите, как сверяли его оценки с людьми;
• результат и реакция заказчика: цифры до и после, что его устроило, что нет;
• что изменили: доработки по обратной связи и как после них сдвинулись метрики.

Самый сильный ответ не «да, доволен», а «доволен в этом, недоволен в том, и вот что мы сделали». Частичный успех с понятными выводами звучит убедительнее идеального.

Цифры нужны ваши, и вы должны уметь объяснить, как считалась каждая. Если коммерческого заказчика не было, так и скажите: заказчиком был продакт или руководитель поддержки внутри компании, или это учебный проект, где вы сами задали критерии. Затем расскажите, какие метрики выбрали бы и почему.

Где спотыкаются

Отвечают одним словом «да» и переходят к архитектуре модели. Вопрос про отношения с заказчиком и измеримый эффект, а не про трансформеры.

Называют только F1 или accuracy. Заказчику важны деньги и нагрузка на операторов, и высокая точность интентов ничего не говорит, пока не ясно, сколько обращений ушло без человека.

Приносят круглые цифры вроде «85% довольных» и теряются на уточнении, по какой шкале и на какой выборке их считали. Выдуманная метрика разваливается на втором вопросе быстрее, чем любое честное «точно не измеряли».