Какой был отклик от сотрудников на систему, были ли жалобы или предложения
Что проверяют
Доводите ли вы работу до пользователя или считаете задачу закрытой в момент деплоя. Интервьюеру интересно, как вы собирали обратную связь, как отличали шум от реальной проблемы и что поменяли. Следом обычно спрашивают про самую неприятную жалобу и вашу реакцию на неё.
Как отвечать
Опишите систему и её пользователей: дашборд для продаж, модель скоринга заявок внутри CRM, витрина данных для аналитиков, подсказки модели для операторов. Дальше по шагам:
- как собирали отклик: интервью с ключевыми пользователями, канал для вопросов, тикеты и, главное, данные об использовании. Сколько людей реально открывают дашборд и как часто операторы отменяют решение модели;
- типичные жалобы: цифры расходятся с отчётом соседнего отдела, данные приходят с опозданием, модель выдаёт решения без объяснений, отчёт грузится минуту;
- что сделали: согласовали единые определения метрик и завели их в одном месте, например в dbt или семантическом слое, выставили и отслеживали SLA свежести данных, добавили объяснения прогнозов через SHAP, ускорили запросы агрегатами;
- замкнули цикл: кнопка «прогноз неверный», разметка таких случаев с возвратом в обучающую выборку, повторный разговор с пользователями после изменений.
Цифры нужны свои, и лучше поведенческие, а не «довольство выросло»: доля отменённых решений модели упала с такой-то до такой-то, активных пользователей дашборда стало больше. Если прямого контакта с пользователями у вас не было, скажите, через кого шла обратная связь и что вы с ней делали.
Где спотыкаются
Отвечают «жалоб не было». Это значит, что либо системой никто не пользовался, либо отклик никто не собирал.
Приводят круглый процент роста удовлетворённости без метода измерения. Вопрос «как именно вы это посчитали» быстро показывает, что процент придуман.
Списывают жалобы на пользователей: «не разобрались в интерфейсе». Даже если так, хороший ответ показывает, что вы сделали, чтобы разобраться стало проще: документация, обучение или правка интерфейса.