Почему нормальное распределение часто используют в статистике и машинном обучении
Что проверяют
Понимаете ли вы, что нормальность это не свойство данных, а предпосылка конкретных процедур, и отличаете ли центральную предельную теорему от утверждения «выборка нормальна». По ответу видно, разбирали ли вы предпосылки моделей.
Как отвечать
Назовите три причины, почему это распределение везде.
- Центральная предельная теорема: среднее большого числа независимых слагаемых с конечной дисперсией приближается к нормальному, каким бы ни было исходное распределение. Отсюда доверительные интервалы, t-тесты и проверка гипотез в A/B.
- Удобство математики: два параметра, сумма нормальных нормальна, линейное преобразование тоже. При нормальных ошибках оценка методом наименьших квадратов совпадает с оценкой максимального правдоподобия.
- Максимальная энтропия: при заданных среднем и дисперсии нормальное вносит меньше всего лишних допущений, то есть это честный выбор по умолчанию.
В моделях оно живёт в гауссовском наивном байесе, смесях гауссиан и фильтре Калмана.
Дальше про границы. Доходы и время до отказа обычно логнормальные или экспоненциальные, счётчики описываются Пуассоном, доли бетой, а у тяжёлых хвостов теорема не выручает. Проверять нормальность практичнее по квантиль-квантильному графику: формальный тест на большой выборке отвергает её у любых реальных данных.
Где спотыкаются
Говорят, что линейная регрессия требует нормальности признаков. Требование относится к остаткам, а признаки бывают хоть бинарными. Да и для остатков нормальность нужна ради корректных p-value на небольшой выборке, а коэффициенты остаются несмещёнными без неё.
Формулируют теорему как «сумма любых случайных величин стремится к нормальному». Условие конечной дисперсии обязательно, для распределения Коши сходимости нет. Плюс теорема говорит про распределение среднего, а не про то, что исходные наблюдения станут нормальными от увеличения выборки.
Приписывают нормальность ошибок логистической регрессии. Там отклик бернуллиевский, и никакой нормальности в предпосылках нет. Рядом живёт вторая путаница: правило про 68 и 95 процентов относится к стандартному отклонению, а не к стандартной ошибке среднего.