Почему BERT дает лучшее качество на задачах классификации текста, чем TF-IDF с логистической регрессией
Что проверяют
Понимаете ли вы, за счёт чего именно выигрывает предобученная модель, и не считаете ли этот выигрыш автоматическим. Сильный ответ всегда содержит вторую половину: случаи, где мешок слов с логистической регрессией не хуже, а по совокупности лучше.
Как отвечать
Назовите три источника выигрыша:
- контекстные представления вместо независимых признаков. Одно и то же слово получает разный вектор в разном окружении, поэтому отрицание, порядок слов и связь между частями предложения не теряются. TF-IDF отбрасывает порядок полностью, и «рекомендую» рядом с «не» для него почти тот же документ;
- перенос знаний. Модель предобучена на большом корпусе, поэтому при нескольких тысячах размеченных примеров дообучение бьёт регрессию, обученную с нуля только на этой выборке;
- подсловная токенизация. Словоформы, опечатки и редкие термины не превращаются в незнакомый признак, а русская морфология не требует ручной лемматизации и подбора списка стоп-слов.
Дальше вторая половина ответа: если классы различаются по ключевым словам, данных много и они однородны, TF-IDF с регрессией догоняет почти вплотную, обучается за минуты на процессоре, интерпретируется по весам признаков и не требует ускорителя в проде. Поэтому он остаётся базовым уровнем, и разговор про трансформер начинается с того, насколько честно он этот уровень обошёл на отложенной выборке.
Где спотыкаются
Называют преимуществом работу с длинными текстами. Всё наоборот: у модели жёсткое ограничение на длину входа, внимание растёт квадратично по числу токенов, и длинный документ приходится усекать или резать на куски и собирать предсказания. Мешок слов длину входа не ограничивает вовсе.
Второе: сравнивают нечестно. Дообученный трансформер против регрессии без подбора регуляризации, без n-грамм и без нормализации текста. Такое сравнение ничего не доказывает, а на защите модели разваливается первым же вопросом.
Третье: не считают стоимость владения. Ускоритель, задержка на запрос, вес модели, дообучение при дрейфе данных. Прирост в пару процентов метрики может не окупить инфраструктуру, и это часть ответа, а не мелочь для эксплуатации.