Как проверить, на чем модель основывается?

Что проверяют

Умеете ли вы отличить глобальную важность признаков от объяснения отдельного предсказания и понимаете ли, где методы интерпретации врут. Главный уточняющий вопрос: как вы поймёте, что модель выучила утечку, а не закономерность.

Как отвечать

Разделите ответ на уровни:

• встроенная важность: коэффициенты линейной модели (на стандартизированных признаках) и feature_importances_ у деревьев. У деревьев она считается на обучающей выборке и завышает признаки с большим числом уникальных значений;
• permutation importance: sklearn.inspection.permutation_importance на отложенной выборке. Перемешиваем признак и смотрим, насколько падает метрика. Годится для любой модели, но коррелированные признаки делят важность между собой;
• SHAP: вклад каждого признака в конкретное предсказание, из которого складывается и глобальная картина. Для бустингов TreeExplainer считает быстро и точно, а XGBoost и LightGBM отдают вклады прямо из predict с параметром pred_contribs или pred_contrib;
• PDP и ICE: PartialDependenceDisplay показывает, как прогноз меняется вслед за признаком, а кривые ICE по объектам выявляют взаимодействия, скрытые в среднем;
• LIME: локальная линейная аппроксимация вокруг примера, результат зависит от случайной выборки соседей;
• нейросети: Integrated Gradients, для изображений Grad-CAM, в PyTorch они есть в библиотеке Captum.

Затем расскажите про проверку здравым смыслом. Если в топе идентификатор, дата создания записи или признак, известный только после события, это почти наверняка утечка. Подтвердить её можно абляцией: переобучить модель без признака и сравнить метрику на валидации.

Где спотыкаются

Читают важность как причинность. SHAP объясняет, как модель использует признак, а не как признак влияет на мир, и вывод «уберём этот фактор, и отток снизится» из графика не следует.

Считают permutation importance на обучающей выборке. Переобученная модель там выглядит зависимой от шумовых признаков.

Показывают один сводный график и не проверяют устойчивость: на другом разбиении или с другим сидом порядок признаков может заметно поменяться.