Можно ли применять t-тест к бинарным данным

Что проверяют

Понимаете ли вы, к чему относится требование нормальности в t-тесте: к самим наблюдениям или к распределению статистики. Это водораздел между заученным списком предпосылок и умением честно посчитать тест на конверсии.

Как отвечать

Да, применять можно, и на практике так и считают. Двухвыборочный t-тест на данных из нулей и единиц сравнивает доли, и при достаточных размерах групп его результат практически совпадает с z-тестом для долей: разница только в оценке дисперсии и в хвостах распределения.

Обоснование через центральную предельную теорему. Распределение Бернулли ненормально, но дисперсия у него конечна, поэтому выборочное среднее, то есть наблюдаемая доля, с ростом n стремится к нормальному. Тесту нужна нормальность именно среднего, а не исходных значений.

Границы применимости назовите сами:

• мало наблюдений или доля близка к нулю либо к единице: нормальное приближение врёт, ориентир это n*p и n*(1-p) хотя бы порядка десятка;
• дисперсия Бернулли связана со средним, поэтому при разных долях дисперсии тоже разные, и брать нужно вариант Уэлча, а не объединённую оценку;
• наблюдения должны быть независимыми: несколько событий одного пользователя ломают тест сильнее, чем ненормальность.

Альтернативы: z-тест для долей, хи-квадрат, точный тест Фишера на малых выборках, логистическая регрессия, если нужны ковариаты.

Где спотыкаются

Отвечают заученное «t-тест требует нормальных данных, значит нельзя». Требование относится к распределению статистики, и на бинарных данных оно выполняется за счёт размера выборки.

Второе: берут вариант с объединённой дисперсией по привычке. На долях равенство дисперсий означает равенство самих долей, то есть ровно ту гипотезу, которую мы и проверяем, поэтому поправка Уэлча тут вариант по умолчанию.

Третье: считают единицей наблюдения событие, а не пользователя. Дисперсия занижается, p-value выходит красивее, чем есть на самом деле, и значимый эффект находится там, где его нет.