Что такое p-value
Что проверяют
Дадите ли вы точное определение или пересказ школьного «вероятность того, что гипотеза верна». Это классический вопрос-фильтр для аналитика: неверная трактовка p-value ведёт к неверным решениям по экспериментам.
Как отвечать
p-value это вероятность получить наблюдаемый результат или более экстремальный при условии, что нулевая гипотеза верна. Условие здесь ключевое: величина считается в мире, где эффекта нет, и говорит о том, насколько данные необычны для этого мира.
Как применяется на практике:
- формулируются гипотезы: нулевая говорит «различий нет», альтернативная «различия есть»;
- заранее выбирается уровень значимости, обычно 0.05;
- считается статистика критерия и по ней p-value;
- если p-value меньше уровня значимости, нулевую гипотезу отвергают.
Например, p-value = 0.03 означает: будь эффект нулевым, такие или более сильные различия встречались бы в трёх процентах повторов эксперимента.
Сильный ответ продолжается ограничениями. p-value ничего не говорит о размере эффекта: на большой выборке статистически значимым становится различие, которое бизнесу безразлично. Поэтому рядом всегда смотрят доверительный интервал и практическую значимость. Ещё стоит упомянуть множественные сравнения: проверяя двадцать метрик подряд, вы почти наверняка получите одну «значимую» случайно, и нужна поправка вроде Бонферрони или контроль FDR.
Где спотыкаются
Говорят «p-value это вероятность того, что нулевая гипотеза верна». Это неверно: условие стоит наоборот.
Трактуют p > 0.05 как доказательство отсутствия эффекта. Отсутствие доказательства это не доказательство отсутствия, особенно на маленькой выборке.
Подглядывают в результат теста каждый день и останавливают эксперимент, как только увидели 0.049. Такое подглядывание сильно увеличивает долю ложных срабатываний, для последовательной проверки есть отдельные методы.