Можно ли использовать линейную регрессию в условиях смещения выборки

Что проверяют

Различаете ли вы виды смещения выборки и понимаете ли, в каком случае оценки линейной регрессии остаются корректными, а в каком нет. Следом обычно просят пример и спрашивают, как обнаружить смещение до того, как модель уйдёт в прод.

Как отвечать

Ответ «можно, но осторожно» слишком общий. Ключевое различие в том, от чего зависит попадание объекта в выборку:

• отбор по признакам X (covariate shift): например, в данных только клиенты из крупных городов. Если связь действительно линейная и модель специфицирована верно, коэффициенты OLS остаются несмещёнными для условного среднего. Проблема в экстраполяции: на новых регионах модель предсказывает там, где данных не видела;
• отбор по целевой переменной или по ошибке: в данных только одобренные заявки, только покупатели, только зарплаты выше порога. Тогда ошибка коррелирует с признаками, и OLS смещена даже на бесконечной выборке;
• что делать при отборе по X: перевзвешивание по обратной вероятности попадания в выборку, в scikit-learn это sample_weight в LinearRegression.fit. Вероятность оценивают классификатором, который отличает обучающие объекты от боевых;
• что делать при отборе по Y: модель Хекмана (два шага: уравнение отбора, затем поправка через обратное отношение Миллса), Tobit для цензурированной цели, а лучше всего исправить сбор данных или провести эксперимент;
• как обнаружить: сравнить распределения признаков обучения и прода (PSI, тест Колмогорова-Смирнова) и сделать adversarial validation: если классификатор легко отличает трейн от прода, выборка смещена.

Закончите мыслью, что смещение выборки это проблема данных, а не алгоритма, и лечится она на уровне данных и дизайна исследования.

Где спотыкаются

Предлагают заменить регрессию на деревья или бустинг. Сложная модель на смещённых данных выучит то же смещение, только менее заметно.

Говорят, что линейная регрессия требует нормально распределённых данных. Нормальность нужна только остаткам и только для точных интервалов на маленьких выборках, к смещению выборки это отношения не имеет.

Не отличают смещение выборки от недообучения и пытаются лечить его добавлением признаков или регуляризацией.