Чем отличаются задачи классификации и регрессии
Что проверяют
Понимаете ли вы, что выбор между классификацией и регрессией определяется природой целевой переменной и ценой ошибки, и умеете ли подобрать под задачу функцию потерь и метрику приёмки.
Как отвечать
Формальная часть короткая: в классификации цель категориальная, в регрессии числовая. Ценят продолжение про потери и метрики.
Регрессия штрафует ошибку по величине. Среднеквадратичная ошибка наказывает крупные промахи квадратично и потому чувствительна к выбросам, средняя абсолютная устойчивее, относительная ошибка ломается на нулевых значениях, а квантильная потеря даёт не среднее, а границу интервала, что удобно для запасов и прогноза спроса.
Классификатор обычно предсказывает вероятность и оптимизирует логистическую потерю, а решение принимается порогом. Отсюда два слоя метрик: площадь под ROC-кривой и под кривой точность-полнота измеряют качество ранжирования и от порога не зависят, а точность, полнота и F-мера считаются уже после того, как порог выбран. При сильном дисбалансе доля верных ответов бесполезна: модель, всегда отвечающая «нет», выглядит отличной.
Хорошо показать, что граница не жёсткая. Порядковую цель, например оценку от одного до пяти, решают и так и так. Счётчики формально регрессия, но с пуассоновской потерей, а не с квадратичной. И одна и та же модель, скажем градиентный бустинг, работает в обоих режимах: меняются функция потерь и интерпретация выхода.
Где спотыкаются
Меряют классификацию долей верных ответов на несбалансированных данных и радуются высокому числу. При редком целевом классе смотреть надо на полноту и точность или на площадь под кривой точность-полнота.
Второе: режут непрерывную цель на классы, чтобы «упростить задачу». Порог берётся из воздуха, информация теряется, и модель перестаёт отвечать на исходный вопрос про величину.
Третье: считают выход классификатора готовой вероятностью. У бустинга и метода опорных векторов это скор, и если по нему считают деньги или ожидаемый убыток, нужна калибровка, иначе решения будут систематически смещены.