Что такое линейная регрессия?
Что проверяют
Понимаете ли вы модель и знаете ли её предположения, а не только формулу.
Как отвечать
Модель предсказывает непрерывную величину как взвешенную сумму признаков плюс свободный член. Обучение подбирает веса так, чтобы минимизировать сумму квадратов отклонений от истинных значений.
Решение находится либо аналитически по формуле, либо градиентным спуском. Второй способ используют на больших объёмах, где обращение матрицы слишком дорого.
Предположения, из-за которых модель может дать неверные выводы:
- линейность связи между признаками и целью. Нелинейную зависимость приходится выражать преобразованием признаков;
- независимость наблюдений. Для временных рядов нарушается почти всегда;
- постоянство разброса ошибок. Если разброс растёт с величиной предсказания, оценки коэффициентов остаются несмещёнными, но доверительные интервалы врут;
- отсутствие сильной взаимной зависимости признаков. При ней коэффициенты становятся неустойчивыми: небольшое изменение данных резко меняет их значения и знаки, а интерпретация теряет смысл, хотя качество предсказания может не пострадать.
Метрики: средняя квадратичная ошибка и её корень, средняя абсолютная ошибка, коэффициент детерминации. Разница между первыми двумя важна: квадратичная сильнее наказывает за большие промахи и потому чувствительна к выбросам.
Регуляризация это главный практический инструмент: штраф на величину весов сдерживает переобучение. Квадратичный штраф просто уменьшает коэффициенты, штраф по модулю зануляет часть из них, работая и как отбор признаков. Есть и комбинация обоих.
Практика: признаки обязательно масштабируют, иначе регуляризация действует на них неравномерно; выбросы обрабатывают, потому что квадратичная функция потерь к ним чувствительна.
Сильная сторона модели это интерпретируемость: коэффициент показывает вклад признака. Именно поэтому она остаётся рабочей базовой линией и обязательным первым шагом перед сложными моделями.
Где спотыкаются
Называют только формулу, не упоминая предположений.
Интерпретируют коэффициенты при сильной взаимной зависимости признаков.
Не масштабируют признаки перед регуляризацией.
Сразу берут сложную модель, не сравнив с линейной базовой линией.