В каких случаях стоит использовать корреляцию Спирмена вместо Пирсона?

Что проверяют

Понимаете ли вы, что именно измеряет каждый коэффициент, или помните только правило «нет нормальности, берите Спирмена». Следом обычно просят пример, где коэффициенты сильно расходятся, и спрашивают, что делать, если связь немонотонная.

Как отвечать

Пирсон измеряет силу линейной связи двух количественных переменных. Спирмен это тот же Пирсон, посчитанный по рангам, поэтому он измеряет монотонную связь: растёт ли одна величина вместе с другой, неважно, по прямой или по кривой.

Когда брать Спирмена:

• монотонная, но нелинейная связь: для y = exp(x) Спирмен даст ровно 1, Пирсон заметно меньше;
• порядковые данные: оценки по шкале от 1 до 5, места в рейтинге, уровни образования. Расстояния между соседними значениями там не равны, и Пирсон считает то, чего в данных нет;
• выбросы и тяжёлые хвосты: после перехода к рангам экстремальное значение становится просто крайним рангом и не тянет коэффициент за собой;
• перекошенные распределения: доходы, время ответа, цены. Спирмен не меняется от монотонных преобразований вроде логарифма.

Важная точность: нормальность нужна не для расчёта коэффициента Пирсона, а для классической проверки его значимости и доверительных интервалов. Сам коэффициент считается на любых данных.

Инструменты: scipy.stats.pearsonr и spearmanr, в pandas df.corr(method="spearman"). На малых выборках с большим числом совпадающих значений часто берут Кендалла (kendalltau). В ML Спирмен удобен для быстрого отбора признаков с монотонной связью с целевой переменной и для оценки качества ранжирования.

Если связь немонотонная, например U-образная, оба коэффициента покажут около нуля. Тогда нужны диаграмма рассеяния, взаимная информация или корреляция расстояний.

Где спотыкаются

Говорят, что Спирмен подходит для категориальных данных. Только для порядковых: для номинальных вроде города или цвета нужен V Крамера.

Считают, что Спирмен ловит любую нелинейность. Он ловит только монотонную связь.

Смотрят на один коэффициент без графика. Квартет Анскомба показывает, что одинаковый Пирсон бывает у совершенно разных данных, а корреляция вообще ничего не говорит о причинности.