Можно ли использовать поведенческие данные с сайта для улучшения классификации товаров?
Что проверяют
Умеете ли вы превратить логи поведения в признаки для классификации и видите ли подводные камни: холодный старт, петлю обратной связи, шум. Следом обычно спрашивают, как вы проверите, что поведенческие признаки действительно помогли, а не протекли из текущей разметки.
Как отвечать
Да, и это один из самых сильных сигналов, особенно для товаров с бедным описанием. Что именно извлекать:
- поисковые запросы: связь «запрос, после которого кликнули или купили товар». Запросы пользователей по сути бесплатные текстовые метки, их можно добавить к описанию товара или обучить на них отдельную модель;
- совместные просмотры: товары, которые смотрят в одной сессии, обычно взаимозаменяемы и часто из одной категории. Из сессий обучают эмбеддинги товаров методом item2vec (word2vec на последовательностях товаров) или строят граф и распространяют метки по нему (label propagation, графовые нейросети);
- совместные покупки: осторожно, они связывают дополняющие товары. Телефон и чехол покупают вместе, но это разные категории;
- агрегаты: CTR из разных разделов каталога, доля возвратов, типичная цена в корзине.
Схема: базовая модель на тексте и картинках, поверх неё поведенческие признаки, сравнение на отложенной выборке с ручной разметкой по macro-F1 и по каждой категории. Полезный побочный эффект: товар, у которого соседи по просмотрам почти все из другой категории, скорее всего размечен неверно, это готовый список на ручную проверку.
Данные агрегируются на уровне товара, личные идентификаторы не нужны, и это снимает большую часть вопросов по 152-ФЗ.
Где спотыкаются
Забывают про холодный старт. У нового товара поведения нет, и модель обязана работать на контентных признаках, качество на таких товарах надо мерить отдельно.
Не видят петлю обратной связи. Товар, лежащий в неверной категории, получает клики именно из неё, и поведение закрепляет старую ошибку. Признаки вроде «из какого раздела пришёл клик» особенно этим грешат.
Путают классификацию с рекомендациями и рассказывают про рост конверсии. Вопрос о том, как точнее определить категорию товара, и мерить результат нужно метриками классификации.