Использовали ли в проекте с чат-ботом отрицательные примеры с недовольными пользователями

Что проверяют

Работали ли вы с обратной связью пользователей как с данными: умеете ли отличить ошибку модели от недовольства правилами сервиса и превратить жалобы в обучающие и оценочные наборы. Следом спрашивают, как вы размечали такие диалоги и чем мерили эффект.

Как отвечать

Это вопрос про опыт, поэтому каркас строится на вашем проекте, а содержательная часть показывает, что вы знаете, куда такие примеры идут:

• сбор сигналов: явные (дизлайк, низкий CSAT, жалоба) и неявные (перевод на оператора, переформулирование того же вопроса, брошенный диалог). Явный отзыв оставляет малая доля пользователей, поэтому без неявных сигналов картина будет неполной;
• разбор ошибок: таксономия причин, например неверно понятый интент, галлюцинация, нет ответа в базе знаний, ответ верный, но неприятный. От причины зависит лечение: дообучение, пополнение базы, правка промпта или бизнес-правила;
• оценочный набор: провальные диалоги становятся регрессионными тестами, их прогоняют перед каждым релизом модели или промпта;
• обучение: для классификатора интентов это трудные отрицательные примеры, для ретривера в RAG hard negatives в контрастивном обучении, для генеративной модели пары «лучший и худший ответ» для DPO или бинарные метки для KTO;
• проверка эффекта: A/B-тест с основной метрикой (доля решённых без оператора, CSAT) и защитными метриками.

Цифры результата должны быть вашими и с понятной базой: «доля переводов на оператора снизилась с X до Y за месяц на таком-то трафике». Если такого проекта не было, скажите честно и опишите, как бы построили процесс, опираясь на пункты выше.

Где спотыкаются

Считают каждое недовольство ошибкой бота. Пользователь, которому по правилам отказали в возврате, поставит дизлайк правильному ответу, и такие примеры испортят обучение.

Забывают про смещение выборки: жалуются в основном на отдельные сценарии, и модель начинает перестраховываться там, где всё было хорошо.

Не говорят о персональных данных. Логи диалогов содержат телефоны, адреса, номера заказов, их нужно обезличить до разметки и обучения.