Какие статистические тесты использовать для оценки значимости различий между группами и чем они отличаются?

Что проверяют

Умеете ли вы выбирать тест по устройству данных: сколько групп, зависимы ли выборки, какая метрика, какие допущения. Следом почти всегда спрашивают, что делать с ненормальными данными или чем тест Уэлча лучше классического t-теста.

Как отвечать

Стройте ответ как дерево выбора:

• две независимые группы, непрерывная метрика: t-тест. По умолчанию берите вариант Уэлча, он не требует равенства дисперсий и почти ничего не теряет, когда они равны. В scipy.stats.ttest_ind это equal_var=False, по умолчанию там классический Стьюдент;
• две связанные выборки: замеры до и после на одних и тех же объектах. Парный t-тест (ttest_rel), по сути одновыборочный тест для разностей;
• больше двух групп: однофакторный ANOVA (f_oneway), при неравных дисперсиях ANOVA Уэлча, после значимого результата попарные сравнения с поправкой, например тест Тьюки (tukey_hsd);
• непараметрические аналоги: Манна-Уитни для двух независимых групп, Уилкоксона для парных, Краскела-Уоллиса для нескольких. Работают с рангами и устойчивы к выбросам;
• категориальные данные: хи-квадрат по таблице сопряжённости (chi2_contingency), точный тест Фишера при малых ожидаемых частотах;
• универсальные методы: перестановочный тест и бутстрэп (permutation_test, bootstrap в SciPy) для любой статистики.

Отдельно скажите про нормальность: t-тесту нужна нормальность выборочного среднего, а не самих данных, поэтому на больших выборках благодаря ЦПТ он работает и на скошенных распределениях. Проблемы начинаются на малых выборках с тяжёлыми хвостами. Закончите размером эффекта: d Коэна или разница с доверительным интервалом. Значимость без величины эффекта мало что говорит.

Где спотыкаются

Говорят, что Манна-Уитни сравнивает медианы. Он проверяет, что значения одной группы систематически больше другой, а про медианы можно говорить только при одинаковой форме распределений.

Сначала гоняют тест Шапиро-Уилка или Левене, а потом выбирают тест по его результату. Такая двухшаговая схема искажает уровень ошибки, проще сразу брать Уэлча.

Проводят попарные t-тесты между пятью группами без поправки вместо ANOVA и находят различия, которых нет.