Что такое дрейф данных?

Что проверяют

Понимаете ли вы, что модель в проде деградирует не только от багов кода: меняются сами данные. Ждут различения видов дрейфа и рабочей схемы мониторинга, которая работает до того, как приедет разметка.

Как отвечать

Дрейф данных (data drift, covariate shift) это изменение распределения входных признаков относительно обучающей выборки. Дрейф концепции (concept drift) это изменение самой зависимости целевой переменной от признаков: вход выглядит так же, а правильный ответ стал другим.

Различать их важно, потому что последствия разные. Сдвиг распределения входов сам по себе не обязан ронять качество, если зависимость стабильна и модель не уехала в область, где у неё не было примеров. Сдвиг зависимости роняет качество всегда, и по одним входам он не виден.

Как ловят: по входам считают PSI, тест Колмогорова-Смирнова для числовых признаков, хи-квадрат для категориальных, расстояние Вассерштейна, долю новых категорий и рост пропусков; по выходам смотрят сдвиг распределения скоров и доли положительных предсказаний; по качеству, когда разметка доехала. Отдельная история это расхождение обучения и инференса, когда признаки считаются разным кодом: дрейфа нет, а модель работает хуже.

Реакция подбирается по причине: переобучение на свежем окне, изменение набора признаков, откат версии, отключение фичи.

Где спотыкаются

Называют дрейфом любое изменение в данных и не могут сказать, ударит ли оно по качеству. Без разделения на сдвиг входов и сдвиг зависимости ответ остаётся пересказом определения.

Предлагают мониторить только метрику качества. В скоринге и оттоке разметка приезжает с задержкой в недели и месяцы, так что к моменту сигнала модель уже долго ошибалась; именно поэтому мониторят входы и выходы.

Ставят статистический тест на каждый признак и тонут в алертах: на большом потоке значимым становится практически ничтожный сдвиг, нужен порог по размеру эффекта и приоритет по важности признаков. И отвечают на алерт автоматическим переобучением, хотя если дрейф вызван поломкой пайплайна, переобучение закрепит мусор в модели.