Почему не удалось различить похожие товары, например, энергетики?
Что проверяют
Умеете ли вы разбирать ошибку модели по существу. Ответ «мало данных» закрывает тему и показывает, что анализа ошибок не было. Хотят услышать, что вы смотрели на конкретные перепутанные пары и отделили шум разметки от нехватки сигнала в признаках.
Как отвечать
Назовите класс задачи честно: это не классификация на десяток далёких категорий, а различение почти одинаковых объектов. У двух энергетиков совпадает бренд, категория, состав и картинка, а отличаются объём, вкус и количество в упаковке, то есть несколько символов на фоне длинной общей строки.
Отсюда причины, каждая проверяемая:
- признаки не содержат различия. Плотный вектор названия тянет к общему смыслу и глушит редкий различающий токен, а
0,5 ли500 млдля токенизатора разные строки при одинаковом смысле; - разметка противоречива. Если два разметчика кладут одну карточку в разные классы, потолок качества задан ими, и модель уже в него упёрлась;
- метрика маскирует провал. Общая доля правильных ответов высокая, потому что путаются только близкие пары внутри бренда, смотреть надо полноту по классам и матрицу ошибок.
Что помогает: вытащить объём, единицу измерения, количество и вкус в отдельные поля вместо надежды на текст, добавить символьные n-граммы поверх плотного вектора, учить на парах с трудными отрицательными примерами из того же бренда, разделить отбор кандидатов и переранжирование пары, а ниже порога уверенности отправлять карточку на ручную проверку.
Где спотыкаются
Отвечают «не хватило данных». Ещё тысяча карточек той же природы не добавит сигнала, если различие вообще не попадает в вектор признаков.
Приносят проценты вроде «точность выросла на треть» без базовой линии и описания выборки. Первый же вопрос о том, как считали и с чем сравнивали, оставляет кандидата без ответа.
Делят выборку случайно, и варианты одного товара попадают и в обучение, и в тест. Метрика завышена, на новых карточках модель рассыпается, делить нужно по группам: по товару или по бренду.