Что такое проверка статистических гипотез и ее нюансы

Что проверяют

Умеет ли кандидат пользоваться аппаратом, а не пересказывать учебник. В работе с данными и моделями проверка гипотез это про эксперименты и про то, как не принять шум за эффект, поэтому интервьюер слушает формулировки: строгая речь тут сама по себе признак практики.

Как отвечать

Схема: формулируем нулевую и альтернативную гипотезы о параметре генеральной совокупности, до начала фиксируем уровень значимости, практически значимый размер эффекта и нужный объём выборки, считаем статистику критерия и p-значение, принимаем решение.

Определения давайте точно. P-значение это вероятность получить расхождение не меньше наблюдаемого при верной нулевой гипотезе. Не вероятность того, что нулевая верна, и не мера величины эффекта. Уровень значимости это допустимая вероятность ложного обнаружения, ошибка первого рода. Ошибка второго рода это пропуск существующего эффекта, а мощность есть единица минус её вероятность.

Отдельно скажите про предпосылки критерия: независимость наблюдений, вид распределения, равенство дисперсий. Когда они не выполняются, берут бутстрап, ранговые или перестановочные критерии.

Где спотыкаются

Толкуют p-значение как вероятность того, что результат случаен или что нулевая гипотеза верна. Рядом живёт вторая неточность речи: критерий позволяет отвергнуть нулевую, но не принять альтернативную, а её неотвержение не доказывает отсутствие эффекта.

Подглядывают в метрику и останавливают эксперимент, как только значение провалилось ниже порога. Вероятность ложного обнаружения при этом растёт кратно. Правило остановки и объём выборки фиксируются заранее, иначе нужны последовательные критерии, рассчитанные на подглядывание.

Берут за наблюдение событие, а не пользователя. Один человек даёт десятки сессий, независимость нарушена, дисперсия занижена, и значимость возникает на пустом месте. Тем же способом набирается ложный результат при десятках метрик и срезов без поправки на множественные сравнения.