Сталкивались ли с дрейфом данных?

Что проверяют

Различаете ли вы виды дрейфа и понимаете ли, что модель в проде это не артефакт, а процесс. Вопрос про эксплуатацию: как замечаете деградацию, когда разметка приходит с большим опозданием, и что делаете дальше.

Как отвечать

Разведите понятия. Ковариативный сдвиг: меняется распределение признаков, а зависимость целевой переменной от них прежняя. Дрейф концепта: меняется сама зависимость, например после смены тарифов старые признаки оттока перестают работать. Сдвиг приоров: меняется доля классов. Отдельно стоит расхождение обучения и применения, когда признак в проде считается иначе, чем считался при обучении.

Дальше про контроль. Контура два: качество по факту, когда дождались метки и посчитали метрику на свежем окне, и мониторинг без меток, потому что метка приходит через недели. Во втором смотрят распределения входов и выходов: PSI, расстояние Jensen-Shannon, тест Колмогорова-Смирнова по числовым признакам, доля пропусков, доля новых категорий, гистограмма скоров модели.

Реакция по нарастанию: сначала проверить пайплайн, затем переобучить на свежем окне, перевзвесить примеры по свежести, выкинуть нестабильные признаки, в тяжёлом случае откатиться на простую модель или правило. Полезно упомянуть переобучение по расписанию и сравнение кандидата со старой моделью до выката.

Где спотыкаются

Называют дрейфом то, что на деле поломка данных. Поменялся формат поля, отвалился источник, поехал часовой пояс, и признак стал константой. Качество данных проверяется первым, иначе будете переобучать модель на мусоре.

Следят за средним значением признака. Среднее держится, а хвост распределения уже уехал, и деградация видна только по квантилям и по доле редких категорий.

Ставят алерты на статистическую значимость по сотням признаков сразу. На больших выборках значимым становится любое колебание, оповещения приходят каждый день, и команда перестаёт их читать. Порог нужен по величине сдвига, а не по p-value.