Как работать с ложными корреляциями в данных
Что проверяют
Умеете ли вы не верить красивой зависимости, пока не проверили её источник, и был ли у вас случай, когда такая проверка спасла выводы. Вопрос поведенческий, поэтому ждут не определение, а историю из практики. Следом спрашивают, как вы объяснили это заказчику, который уже поверил в зависимость.
Как отвечать
Стройте ответ на своём случае: какие были данные, какая корреляция выглядела подозрительно, как вы её проверили, чем закончилось. Цифры нужны ваши, выдумывать их не стоит. Внутри истории покажите, какие механизмы вы перебирали:
- общий фактор: обе величины зависят от третьей. Проверяется стратификацией или частной корреляцией с контролем этого фактора;
- общий тренд во времени: два растущих ряда коррелируют почти всегда. Смотрят корреляцию разностей или остатков после удаления тренда и сезонности;
- множественные сравнения: если перебрать 100 признаков на уровне значимости 0,05, около пяти окажутся «значимыми» случайно. Помогают поправка Бонферрони, метод Бенджамини и Хохберга и проверка на отложенной выборке;
- смещение отбора: в данных только одобренные заявки или только активные клиенты, и связь рождается самим фильтром;
- утечка в ML: признак вычисляется после события, которое модель предсказывает. Подозрительно сильный признак в важности или SHAP проверяют по времени появления.
Главный способ подтвердить причинность это эксперимент. Если A/B-тест невозможен, нарисуйте граф причин и используйте квазиэкспериментальные методы вроде разности разностей.
Если такого случая у вас не было, скажите прямо и опишите, как проверили бы найденную зависимость на текущих данных. Это честнее выдуманной истории.
Где спотыкаются
Пересказывают пример про мороженое и утопления и на этом останавливаются. Интервьюеру нужен ваш случай и ваши шаги.
Считают, что достаточно добавить переменную в регрессию. Контроль за общим следствием двух величин, наоборот, создаёт ложную связь там, где её не было.
Путают нулевую корреляцию с отсутствием связи: коэффициент Пирсона ловит только линейную зависимость, а связь в форме параболы даёт значение около нуля.