Опишите задачу анализа комментариев продавцов и повышения точности классификации
Что проверяют
Умеете ли вы вести задачу классификации текста от постановки до оценки. Слово «точность» здесь ключевое: слушают, спросите ли вы, какое решение принимается по предсказанию и какая ошибка дороже, прежде чем называть модели.
Как отвечать
Начните с постановки: какие метки, кто их размечает, что происходит после предсказания. Отсюда выбирается метрика. При перекошенных классах доля верных ответов бесполезна: смотрят точность и полноту по каждому классу, усреднённую F-меру, кривую точности и полноты, и подбирают порог под цену ошибки, а не оставляют половину по умолчанию.
Дальше базовый уровень: правила или мешок слов с линейной моделью. Он даёт точку отсчёта и иногда закрывает задачу целиком. Затем дообученный энкодер под русский язык, сравнение честное, на одном и том же разбиении.
Про разбиение скажите отдельно: по времени, если данные накапливаются, и с группировкой, чтобы комментарии одного автора не попали одновременно в обучение и в проверку. Про рост качества назовите главное: он чаще приходит не от смены модели, а от работы с данными. Дедупликация, разбор матрицы ошибок, сверка спорных примеров с разметчиками, отдельная обработка шаблонных и очень коротких текстов.
Где спотыкаются
Называют одну цифру качества без разбивки по классам и без базового уровня. Модель, всегда отвечающая «нейтрально», на перекошенной выборке тоже покажет высокую долю верных ответов и не принесёт никакой пользы.
Второе: утечка при подготовке данных. Дубликаты попадают и в обучение, и в проверку, векторизатор или отбор признаков настроены на всей выборке целиком. На валидации выходит красиво, в работе заметно хуже.
Третье: начинают с тяжёлой модели и перебора гиперпараметров, не посмотрев на разметку. Если сами метки противоречивы, потолок качества задан разметкой, и никакой перебор его не поднимет.