В чем разница линейной и логистической регрессии
Что проверяют
Понимаете ли вы, что различие не в «одна для чисел, другая для классов», а в том, что предсказывается и какой функцией измеряется ошибка.
Как отвечать
Линейная регрессия предсказывает непрерывную величину: цену, срок, количество. Модель выдаёт взвешенную сумму признаков, ошибка меряется квадратом отклонения.
Логистическая регрессия решает задачу классификации: та же взвешенная сумма пропускается через логистическую функцию и превращается в вероятность от нуля до единицы, а ошибка меряется логарифмической функцией потерь. Порог (обычно 0.5, но его выбирают по цене ошибки) переводит вероятность в решение.
Что стоит добавить, чтобы ответ был сильным:
- интерпретация коэффициентов: в линейной модели это изменение целевой величины при росте признака на единицу, в логистической изменение логарифма шансов, поэтому экспонента коэффициента читается как отношение шансов;
- почему нельзя просто взять линейную для классов: её выход не ограничен и легко выходит за пределы вероятностей, а квадратичная ошибка на классах даёт невыпуклую задачу и плохо штрафует уверенные промахи;
- что общего: обе линейны по параметрам, обе требуют работы с признаками (масштабирование, кодирование категорий, добавление нелинейностей вручную), обе поддерживают регуляризацию для борьбы с переобучением;
- метрики разные: там средняя ошибка и коэффициент детерминации, здесь точность, полнота, площадь под ROC-кривой и калибровка вероятностей.
Где спотыкаются
Называют логистическую регрессию нелинейной моделью. Нелинейно только преобразование выхода, граница решения остаётся линейной.
Оценивают классификатор по средней квадратичной ошибке.
Забывают про дисбаланс классов: точность 95 процентов при пяти процентах положительных примеров не значит ничего.