Что такое параметрические и непараметрические статистические тесты?

Что проверяют

Категория практическая: важно не определение, а умение довести проверку гипотезы до кода и не получить красивое, но неверное значение p. Смотрят, проверяете ли вы предпосылки и что делаете, когда они не выполняются.

Как отвечать

Коротко развести понятия: параметрический критерий предполагает семейство распределений и проверяет гипотезу о его параметрах, непараметрический обходится рангами или частотами. Дальше сразу к практике.

from scipy import stats

# equal_var=False это поправка Уэлча, дисперсии могут различаться
t, p = stats.ttest_ind(a, b, equal_var=False)

# ранговый аналог для двух независимых выборок
u, p = stats.mannwhitneyu(a, b, alternative="two-sided")

# без предположений о форме распределения
res = stats.permutation_test(
    (a, b), lambda x, y: x.mean() - y.mean(),
    permutation_type="independent", n_resamples=10000,
)

Порядок рассуждения вслух: сформулировать гипотезу и метрику, посмотреть на шкалу (количественная, порядковая, номинальная), оценить размер выборки и хвосты, выбрать критерий, посчитать не только значение p, но и размер эффекта с доверительным интервалом.

Третий путь стоит назвать отдельно: перестановочный тест и бутстрэп дают интервал почти для любой статистики и снимают спор о нормальности ценой вычислений.

Где спотыкаются

Оставляют предположение о равных дисперсиях по умолчанию и получают заниженное значение p на выборках разного размера. В типичной задаче сравнения двух вариантов версия по Уэлчу безопаснее и почти ничего не стоит.

Останавливаются на значении p и не показывают размер эффекта. Различие бывает статистически значимым и при этом бессмысленным для продукта, без интервальной оценки решение принимать нельзя.

Проверяют десяток метрик и радуются той, где получилось. Без поправки на множественные сравнения ложная находка почти гарантирована, поэтому основную метрику фиксируют заранее, а остальные помечают как разведочные.