Как p-value связывает наблюдаемые данные и нулевую гипотезу?

Что проверяют

Понимаете ли вы, что p-value считается в предположении истинности нулевой гипотезы и ничего не говорит о её вероятности. Следом обычно дают A/B-тест и просят объяснить результат менеджеру или спрашивают, почему на огромной выборке значимо всё подряд.

Как отвечать

Строгое определение: p-value это вероятность получить значение тестовой статистики не менее экстремальное, чем наблюдаемое, если верна H0 и выполнены допущения теста. Данные связаны с гипотезой через статистику: разницу средних, z или t.

Интуитивнее всего через перестановочный тест. В A/B-тесте конверсии перемешайте метки групп десять тысяч раз и посчитайте, в какой доле перестановок разница не меньше реальной. Эта доля и есть p-value: как часто такая разница возникает, когда группы на самом деле ничем не отличаются. В коде это scipy.stats.permutation_test, scipy.stats.ttest_ind или proportions_ztest из statsmodels.

Дальше порядок решения:

• уровень значимости α: выбирается до эксперимента, обычно 0.05. При p < α нулевую гипотезу отвергают;
• поведение при истинной H0: p-value распределено равномерно, поэтому α и есть доля ложноположительных решений;
• размер эффекта и доверительный интервал: нужны рядом с p-value, на миллионе наблюдений значимой окажется разница в сотые доли процента;
• множественные сравнения: требуют поправки Бонферрони, Холма или Бенджамини-Хохберга (multipletests в statsmodels).

Пример формулировки: p = 0.03 означает, что при отсутствии реальной разницы такой или больший перекос встречался бы примерно в 3% повторений эксперимента.

Где спотыкаются

Говорят «вероятность того, что H0 верна, 3%». Это P(H0 | данные), а p-value считается как P(данные | H0). Для вероятности гипотезы нужен байесовский подход и априорное распределение.

Трактуют p > 0.05 как доказательство отсутствия эффекта. Чаще это недостаток мощности: выборка слишком мала, чтобы эффект заметить.

Подглядывают в A/B-тест каждый день и останавливают его при первом p < 0.05. Доля ложных срабатываний при этом растёт в разы, для ранней остановки нужны последовательные методы.