Как категоризатор товаров сокращал время человека
Что проверяют
Умеете ли вы измерить эффект модели в человеко-часах, а не только в accuracy, и как модель встроена в процесс: ставит категорию сама или помогает оператору. Следом почти всегда спрашивают, что происходило с товарами, в которых модель не уверена.
Как отвечать
Рассказывайте на своём проекте, опираясь на такой каркас:
- исходный процесс: сколько товаров в день, сколько секунд уходило у оператора на один товар, сколько людей было занято. Без замера «до» экономию не посчитать;
- модель: текстовая классификация по названию, описанию и атрибутам. Разумный путь: бейзлайн на TF-IDF с логистической регрессией, затем fastText или дообученный трансформер-энкодер. Дерево категорий обычно иерархическое, с тысячами листьев и длинным хвостом редких классов;
- порог уверенности: главный источник экономии. Уверенные предсказания проставляются автоматически, остальные уходят человеку с тремя подсказками. Порог подбирают по precision на отложенной выборке так, чтобы автомат ошибался не чаще людей;
- метрики: доля товаров, прошедших без человека, precision в этой доле, время на товар у оператора, число исправлений после публикации;
- итог: экономия складывается из автоматической доли и ускорения ручной разметки за счёт подсказок.
Цифры нужны ваши. Если систему делала команда, честно обозначьте свою часть: сбор разметки, модель, интеграция или замер эффекта. Если такого проекта не было, так и скажите и разберите, как бы вы измеряли эффект.
Где спотыкаются
Называют общую accuracy как главный результат. На несбалансированном дереве категорий её вытягивают популярные классы, честнее macro-F1 и precision при выбранном пороге.
Говорят «сократили ручную работу на 70%» и не могут объяснить, как считали. Интервьюер спросит, от какого замера, и ответ «так ощущалось» перечеркнёт рассказ.
Забывают про дрейф и обратную связь. Появляются новые категории и сезонные товары, и если исправления операторов не возвращаются в обучающую выборку, качество тихо падает. Отдельная ловушка: дубли одного товара в train и test, из-за которых офлайн-метрика выглядит лучше реальной.