【Python特征工程系列】Eli5随机打乱特征评估模型性能重要性分析(案例+源码)

· Eli5 库通过 Permutation Importance 方法，随机打乱特征值来评估每个特征对模型性能的实际贡献

· 心脏疾病数据集 13 个特征中，cp（胸痛类型）、ca（主要血管数）、thal（地中海贫血类型）为最关键特征

· 随机森林分类模型经网格搜索优化后测试集准确率达 85%，完整代码可复现

最优参数：n_estimators=100, max_depth=5, min_samples_split=5, min_samples_leaf=1

交叉验证准确率：83.49%　|　测试集准确率：85.00%

1. cp（胸痛类型）：weight = 0.0616 ± 0.0102 — 最重要的预测因子，不同类型胸痛与心脏疾病高度相关

2. ca（主要血管染色数量）：weight = 0.0481 ± 0.0164 — 血管病变程度的直接指标

3. thal（地中海贫血类型）：weight = 0.0253 ± 0.0027 — 反映血红蛋白异常程度

4. slope（ST 段斜率）：weight = 0.0076 ± 0.0056

5. oldpeak（ST 段压低值）：weight = 0.0051 ± 0.0086

其余特征（trestbps, sex, age, fbs, restecg, chol, thalach, exang）权重接近零或为负值，表明打乱这些特征对模型性能影响甚微甚至有轻微正向波动。

根节点首先根据 ca ≤ 0.5（主要血管数）进行分裂：

　→ 左子树（ca ≤ 0.5）：进一步按 thal 分裂，再结合 exang、thalach 等判断

　→ 右子树（ca > 0.5）：按 cp 分裂，结合 chol、slope 等特征

最终，每个叶节点给出类别预测和概率。树的层次结构清晰展示了各特征对预测结果的逐级影响。

feature_importances_：反映特征在模型训练过程中的分裂贡献（基尼不纯度减少），关注的是特征在构建模型时的作用

Permutation Importance：通过打乱特征值并观察模型性能变化来评估，直接反映特征对模型预测能力的影响

# 训练随机森林 + 网格搜索

grid_search = GridSearchCV(RandomForestClassifier(random_state=42),

    param_grid, cv=5, scoring='accuracy')

grid_search.fit(X_train, y_train)

# Permutation Importance 分析

from eli5.sklearn import PermutationImportance

perm = PermutationImportance(best_model, scoring='accuracy')

perm.fit(X_train, y_train)

print(eli5.format_as_dataframe(

    eli5.explain_weights(perm, feature_names=feature_names)))