Хватает ли выборки для проведения тестов?

Что проверяют

Умеете ли вы обосновывать достаточность выборки числом, а не ощущением, и понимаете ли связку между размером эффекта, уровнем значимости и мощностью. Заодно проверяют, задаёте ли вы уточняющий вопрос вместо готового ответа.

Как отвечать

Сначала уточните, о каких тестах речь, потому что случаи разные:

• проверка гипотезы, например A/B: размер считается заранее из минимально значимого эффекта, базовой конверсии, уровня значимости и желаемой мощности. Чем меньше эффект вы хотите различить, тем быстрее растёт нужное число наблюдений;
• оценка качества модели: важен не столько общий объём, сколько число объектов редкого класса. При сильном дисбалансе метрику качает десяток положительных примеров, и доверительный интервал для ROC-AUC получается широким.

Дальше про качество выборки: репрезентативность по сегментам и периоду, отсутствие утечки (делить по пользователю или по времени, а не случайно по строкам), сезонность, дрейф распределения.

Назовите инструменты: расчёт мощности до запуска, бутстрэп для интервала метрики, проверка чувствительности на A/A. Если данных мало, честные варианты это продлить сбор, снизить дисперсию стратификацией, укрупнить метрику или признать, что вывод будет ориентировочным.

Где спотыкаются

Смотрят на p-value каждый день и останавливают тест при первом «значимо». Подглядывание раздувает долю ложных находок, поэтому срок фиксируют заранее либо берут последовательный критерий, рассчитанный на промежуточные проверки.

Считают, что большого объёма достаточно самого по себе. Миллион строк, в которых сотня целевых событий, это маленькая выборка для задачи, и никакая агрегация этого не исправит.

Путают отсутствие значимости с доказанным отсутствием эффекта. Корректный вывод звучит иначе: мощности не хватило, чтобы различить эффект такого размера, и стоит сказать, какой эффект вы всё же различили бы.