Что такое доверительный интервал
Что проверяют
Понимаете ли вы, что оценка по выборке это не число, а число с разбросом, и умеете ли объяснить интервал так, чтобы им можно было пользоваться при решении. В аналитике это вопрос не про формулу, а про то, как вы читаете результат эксперимента.
Как отвечать
Доверительный интервал это интервальная оценка параметра генеральной совокупности, построенная по выборке. Уровень доверия относится к процедуре: если повторять эксперимент много раз и каждый раз строить интервал, заданная доля таких интервалов накроет истинное значение.
Для среднего он строится как оценка плюс-минус квантиль, умноженный на стандартную ошибку, а стандартная ошибка это выборочное отклонение, делённое на корень из объёма выборки. Отсюда главное практическое следствие: ширина убывает как корень из числа наблюдений, вчетверо больше данных дают вдвое более узкий интервал.
Дальше стоит показать границы метода:
- при неизвестной дисперсии и небольшой выборке квантиль берётся из распределения Стьюдента, а не из нормального;
- для долей около нуля и единицы школьная формула даёт границы за пределами отрезка, работают интервалы Уилсона;
- для медианы, квантилей и отношений метрик проще посчитать бутстрепом, чем искать формулу;
- если интервал для разницы не накрывает ноль, различие значимо на соответствующем уровне.
Где спотыкаются
Формулируют вывод как вероятность того, что параметр лежит в этом конкретном интервале. Параметр фиксирован, случайны границы, и после подсчёта интервал либо накрыл истинное значение, либо нет.
Строят интервал по зависимым наблюдениям: несколько строк на одного пользователя, события вместо визитов. Стандартная ошибка тогда занижена, интервал получается уже настоящего, и решение принимается по шуму.
Подсматривают в накопленные данные и останавливают эксперимент, как только интервал перестал накрывать ноль. Это меняет фактический уровень ошибки, и нужны либо заранее посчитанный размер выборки, либо последовательные процедуры, рассчитанные на подглядывание.