Какой функционал оптимизируется при обучении логистической регрессии

Что проверяют

Знаете ли вы, что за логистической регрессией стоит метод максимального правдоподобия, а не абстрактная «функция потерь». Следом обычно спрашивают, почему не MSE, есть ли аналитическое решение и что меняет регуляризация.

Как отвечать

Модель выдаёт вероятность класса 1: p = σ(w·x + b), где σ(z) = 1 / (1 + e^(−z)). Считаем, что метка распределена по Бернулли с этой вероятностью, и максимизируем правдоподобие выборки. Логарифм и смена знака дают минимизируемый функционал:

• log loss (бинарная кросс-энтропия): L(w) = −(1/n) Σ [y·log p + (1 − y)·log(1 − p)], то есть отрицательное логарифмическое правдоподобие;
• градиент: (1/n) Xᵀ(p − y), по форме как у линейной регрессии, только предсказание пропущено через сигмоиду;
• выпуклость: функционал выпуклый, локальный минимум совпадает с глобальным, поэтому старт с нулевых весов ничем не хуже случайного;
• регуляризация: к потерям добавляют штраф L2 или L1. В sklearn LogisticRegression по умолчанию использует L2 с C=1.0, где C это обратная сила штрафа, и решатель lbfgs.

Закрытой формулы решения нет, поэтому оптимизируют итеративно: градиентным спуском, методом Ньютона (он же IRLS), квазиньютоновским L-BFGS. Для многих классов сигмоиду заменяет softmax, а функционал становится многоклассовой кросс-энтропией.

Почему не MSE: в связке с сигмоидой квадратичная ошибка перестаёт быть выпуклой, а на уверенно неверных предсказаниях её градиент почти обнуляется, и обучение застревает. У log loss штраф за уверенную ошибку неограниченно растёт, и градиент остаётся большим.

Где спотыкаются

Говорят, что оптимизируется accuracy. Это метрика качества, она кусочно-постоянна по весам, и градиентом её не оптимизировать.

Не знают про линейно разделимые данные. Без регуляризации веса растут бесконечно, потому что потери можно уменьшать сколь угодно, и оптимизатор не сходится к конечной точке.

Забывают про масштаб признаков. От него зависят скорость сходимости и то, как штраф распределяется между весами, поэтому перед обучением признаки стандартизируют.