Почему нельзя решить все задачи с помощью классических методов
Что проверяют
Трезвость в выборе инструмента. Интервьюер хочет услышать, где именно ломаются простые модели и ручные правила, и, что важнее, где сложные модели не нужны. Ответ «нейросети лучше» закрывает вопрос в минус.
Как отвечать
Начать с уточнения, что считать классическим: обычно линейные и статистические модели вместе с ручными правилами противопоставляют машинному обучению и особенно глубокому.
Где простые подходы действительно не вытягивают:
- неструктурированные данные (текст, изображения, звук): признаки пришлось бы конструировать вручную, а свёрточные сети и трансформеры учат представление сами;
- сложные взаимодействия факторов: линейная модель поймает их, только если нужное произведение признаков уже построено человеком;
- высокая размерность и разреженность, где ручной отбор признаков нереален.
Обратную сторону нужно назвать самому, её и проверяют. На табличных данных градиентный бустинг обычно выигрывает у нейросетей. На маленькой выборке сложная модель переобучается, и регуляризованная линейная честнее. Там, где решение надо объяснить клиенту или регулятору, интерпретируемость перевешивает доли процента метрики. А правило работает и тогда, когда обучающих данных нет вообще.
И отдельно ограничение, которое не лечится моделью: корреляция не даёт причинности, смещение выборки и утечка целевой переменной портят любой алгоритм, а без сигнала в данных не поможет ничто.
Где спотыкаются
Записывают деревья решений и бустинг в классические методы и противопоставляют их машинному обучению. Это и есть машинное обучение, и такая оговорка сразу показывает, что термины взяты из пересказа, а не из работы.
Утверждают, что модели машинного обучения сами подстраиваются под новые данные, в отличие от статистики. Обученная модель статична ровно так же. Адаптация это отдельный контур: мониторинг дрейфа, дообучение по расписанию, онлайн-обучение как самостоятельный класс алгоритмов.
Говорят про ограничения абстрактно, без цены вопроса. Сложная модель это разметка, вычисления, латентность на инференсе и невозможность объяснить отказ. Хороший ответ заканчивается тем, что выбор делается под задачу и ограничения, а не по новизне метода.