Какие методы машинного обучения используются для классификации комментариев

Что проверяют

Умеете ли вы выбирать модель под ограничения задачи, а не называть самую модную. Классификация комментариев это почти всегда несбалансированные классы, шумная разметка и требование отвечать быстро и дёшево на большом потоке. Уточняют обычно про метрику и про то, где вы возьмёте размеченные данные.

Как отвечать

Стройте ответ как путь от простого к сложному:

• база: TF-IDF по словам и символьным n-граммам плюс логистическая регрессия или линейный SVM. Обучается за минуты, легко интерпретируется и задаёт планку, ниже которой нельзя;
• промежуточный вариант: fastText или эмбеддинги готовой модели (E5, BGE) с линейной головой сверху. Саму модель не дообучаем, зато получаем понимание синонимов и опечаток;
• основной рабочий инструмент: дообучение энкодера под задачу. Для русского это ruBERT и лёгкие версии вроде rubert-tiny2, для многоязычных данных XLM-RoBERTa, из свежих англоязычных ModernBERT. Качество тут упирается не в архитектуру, а в разметку;
• холодный старт: большая генеративная модель размечает первую тысячу примеров или работает few-shot, а потом её решения перегоняются в маленький энкодер, который держит нагрузку;
• особенности задачи: токсичность и темы это обычно несколько меток сразу, значит сигмоида и BCE вместо softmax, и свой порог на каждый класс.

Отдельно проговорите оценку: macro-F1 и PR-AUC вместо accuracy, подбор порога по цене ошибки, стратифицированное разбиение. В проде добавьте мониторинг дрейфа, ручную модерацию спорной зоны и активное обучение на ней.

Где спотыкаются

Тащат в трансформер стемминг, удаление стоп-слов и лемматизацию. Модель училась на обычном тексте своим сабворд-токенизатором, такая чистка только отнимает у неё контекст.

Показывают accuracy 0.97 на выборке, где 97 процентов комментариев нейтральны. Модель просто предсказывает большинство, а метрика этого не показывает.

Не чистят дубликаты и репосты до разбиения. Один и тот же комментарий попадает и в обучение, и в тест, на бумаге качество отличное, на проде оно падает.