Как заказчик может понять, что признак незначим без использования feature importance в модели черный ящик

Что проверяют

Умеете ли вы оценить вклад признака, не заглядывая внутрь модели, и объяснить результат человеку без ML-подготовки. Важно различать три вещи: признак не нужен этой модели, признак не связан с целевой переменной и признак не влияет на неё причинно. Следом обычно спрашивают, что делать с коррелированными признаками.

Как отвечать

Встроенной важности у чёрного ящика нет, поэтому все рабочие методы подают в модель данные и смотрят на качество или на предсказания.

• удаление признака (ablation): переобучить модель без него и сравнить метрику на кросс-валидации. Если разница укладывается в разброс между фолдами, признак модели не нужен. Для заказчика это самый понятный аргумент: «без этого поля качество то же, а собирать его дорого»;
• permutation importance: на отложенной выборке перемешать значения признака и посмотреть, насколько упала метрика. Модель не переобучается, метод работает для любого алгоритма, в scikit-learn это sklearn.inspection.permutation_importance;
• шумовой эталон: добавить случайный признак и сравнивать с ним. Если настоящий признак не лучше шума, он незначим. На этой идее построен Boruta;
• PDP и ICE: меняем значение признака и смотрим, как меняется предсказание. Плоская кривая показывает, что модель на признак не реагирует, в scikit-learn это PartialDependenceDisplay;
• SHAP через KernelExplainer: модельно-агностичный вариант, даёт вклад признака в каждое предсказание. На больших данных медленный.

Итог заказчику лучше показывать парой метрик с разбросом и одним графиком, а не таблицей чисел.

Где спотыкаются

Проверяют признаки по одному t-тестом или корреляцией с целевой. Признак, бесполезный сам по себе, может работать в паре с другим, и одномерный тест это пропустит.

Не учитывают корреляцию. Если два признака дублируют друг друга, удаление или перемешивание одного почти не бьёт по метрике, и оба выглядят незначимыми, хотя вместе важны.

Считают permutation importance на обучающей выборке. Переобученная модель покажет высокую важность у признаков, которые на новых данных не работают.