Почему выбран BERT для задачи классификации вместо регулярных выражений
Что проверяют
Умеете ли вы обосновывать выбор модели стоимостью и данными, а не модностью. За вопросом стоит проверка на инженерную лестницу решений: понимаете ли, когда правил достаточно, когда нужен классический классификатор и когда действительно окупается трансформер.
Как отвечать
Отталкивайтесь от природы сигнала. Регулярные выражения выигрывают, когда класс задаётся формальным шаблоном: код ошибки, артикул, почта, номер. Они детерминированы, объяснимы и не требуют разметки.
Модель нужна, когда класс определяется смыслом: синонимы, отрицание, опечатки, порядок слов, разный смысл одного слова в разных контекстах. Признак, что правила исчерпаны, простой: список шаблонов растёт, правила начинают конфликтовать, а полнота всё равно не растёт.
Что конкретно даёт трансформер:
- контекстные представления слова, а не фиксированный словарь;
- двунаправленное внимание, то есть смысл токена учитывает и левый, и правый контекст;
- разбиение на подслова, поэтому морфология и опечатки не выбивают модель из словаря, что для русского языка особенно важно;
- перенос знаний с предобучения, поэтому хватает тысяч размеченных примеров, а не сотен тысяч.
Обязательно назовите цену: разметка, ограничение на длину входа, задержка на инференсе, потребность в ускорителе или дистиллированной модели, версионирование весов, деградация при дрейфе данных. Сильный ответ заканчивается гибридом: правила закрывают критичные детерминированные классы и работают как предфильтр, модель разбирает остальное.
Где спотыкаются
Аргументируют выбор словом «нейросеть». Без базового решения и сравнения на одном отложенном наборе это не обоснование. Метрику надо брать под задачу: при редком классе точность по всем примерам почти ничего не говорит, смотрят полноту и F1 по нужному классу.
Молчат про эксплуатацию. Модель может выигрывать пару процентов качества и при этом не влезать в бюджет задержки или стоить дороже эффекта. Этот расчёт от инженера ждут отдельно.
Объявляют регулярные выражения устаревшими и не могут назвать ни одного случая, где они лучше. Обратная крайность тоже встречается: кандидат защищает набор из сотен правил, который давно никто не может сопровождать.