Что такое выбросы в статистике и как их распознать

Что проверяют

Различаете ли вы редкое значение и ошибку в данных и умеете ли выбрать критерий, а не просто перечислить названия. Для разработчика на C# добавляется вторая половина: как посчитать границы на потоке данных и не сломаться на пустой выборке.

Как отвечать

Выброс это наблюдение, резко выпадающее из распределения остальных. Причины разные: ошибка ввода или датчика, значение из другой популяции, редкое, но настоящее событие. Отсюда порядок: сначала объясняем природу, потом решаем, чинить, отбрасывать или оставлять.

Критерии стоит назвать парой и сравнить:

• межквартильный размах: границы это первый квартиль минус полтора размаха и третий квартиль плюс полтора. Устойчив, формы распределения не предполагает, лежит в основе диаграммы размаха;
• отклонение от среднего в трёх стандартных отклонениях. Работает только на приблизительно нормальных данных и само чувствительно к выбросам, поэтому надёжнее считать по медиане и медианному абсолютному отклонению.

var sorted = values.OrderBy(v => v).ToArray();
double Q(double p) => sorted[(int)(p * (sorted.Length - 1))];
var bound = Q(0.75) + 1.5 * (Q(0.75) - Q(0.25));

Для многомерных данных упоминают расстояние Махаланобиса и алгоритмы вроде изолирующего леса или локального фактора выброса.

Где спотыкаются

Считают среднее и стандартное отклонение по выборке, в которой выброс уже сидит. Одно большое значение раздувает отклонение, порог уезжает вслед за ним, и сам выброс в него не попадает. Это ровно тот случай, ради которого берут медиану.

Молча удаляют всё, что не нравится. Отброшенный пик может оказаться мошеннической операцией или отказом оборудования, то есть самым ценным наблюдением. Удаление без записи причины и без отдельной обработки превращает анализ в подгонку под ожидание.

Реализуют квартиль наивно и получают расхождение с отчётами аналитиков. Способов интерполяции несколько, на коротких выборках они дают разные числа, и это стоит оговорить. Плюс код на LINQ обязан выдержать пустую и одноэлементную последовательность, иначе падает на границе.