admin管理员组

文章数量:1130349

详解feature_importances_

  • 基于模型的评估指标
    • 1. feature_importances_的计算过程
    • 2.feature_importances_的计算特性
      • 2.1 feature_importances_的随机性
      • 2.2 feature_importances_受建模过程影响
    • 3 基于feature_importances_的特征筛选

基于模型的评估指标

当我们进行基于模型的特征筛选时，常常会利用模型训练结果产生的特征重要性指标来评估特征的贡献程度和重要性。一些常见的特征重要性指标包括线性模型中的coef_参数以及决策树及基于决策树的集成算法中的feature_importances_。这些指标能够帮助我们了解特征对模型训练的贡献程度，从而辅助进行特征筛选。

对于线性模型，例如线性回归、Lasso回归、岭回归和逻辑回归，我们可以使用coef_参数来衡量特征的重要性。其绝对值越大，表示特征对因变量的影响越大，因此特征越重要。

而对于决策树及基于决策树的集成算法，我们通常会使用feature_importances_指标来评估特征的重要性。这个指标能够衡量特征对标签取值区分度的累计结果，因此也是一种普适的评估指标。

然而，这些指标的应用并不仅仅是根据评分由高到低筛选特征这么简单。因此，有必要深入理解这些指标的计算流程，并据此探究如何应用这些指标进行特征筛选。以feature_importances_为例进行讲解，coef_指标的使用过程也是类似的。

1. feature_importances_的计算过程

这里我们首先通过一组极简的数据，先来探讨决策树feature_importances_指标的计算过程。

# 准备数据集
X = np.array([[1, 1], [2, 2], [2, 1], [1, 2], [1, 1], [1, 2], [1, 2], [2, 1]])
X = pd.DataFrame(X, columns=

详解feature_importances_

  • 基于模型的评估指标
    • 1. feature_importances_的计算过程
    • 2.feature_importances_的计算特性
      • 2.1 feature_importances_的随机性
      • 2.2 feature_importances_受建模过程影响
    • 3 基于feature_importances_的特征筛选

基于模型的评估指标

当我们进行基于模型的特征筛选时，常常会利用模型训练结果产生的特征重要性指标来评估特征的贡献程度和重要性。一些常见的特征重要性指标包括线性模型中的coef_参数以及决策树及基于决策树的集成算法中的feature_importances_。这些指标能够帮助我们了解特征对模型训练的贡献程度，从而辅助进行特征筛选。

对于线性模型，例如线性回归、Lasso回归、岭回归和逻辑回归，我们可以使用coef_参数来衡量特征的重要性。其绝对值越大，表示特征对因变量的影响越大，因此特征越重要。

而对于决策树及基于决策树的集成算法，我们通常会使用feature_importances_指标来评估特征的重要性。这个指标能够衡量特征对标签取值区分度的累计结果，因此也是一种普适的评估指标。

然而，这些指标的应用并不仅仅是根据评分由高到低筛选特征这么简单。因此，有必要深入理解这些指标的计算流程，并据此探究如何应用这些指标进行特征筛选。以feature_importances_为例进行讲解，coef_指标的使用过程也是类似的。

1. feature_importances_的计算过程

这里我们首先通过一组极简的数据，先来探讨决策树feature_importances_指标的计算过程。

# 准备数据集
X = np.array([[1, 1], [2, 2], [2, 1], [1, 2], [1, 1], [1, 2], [1, 2], [2, 1]])
X = pd.DataFrame(X, columns=

本文标签： 详解

版权声明：本文标题：详解feature_importances_ 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1763609296a2947890.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。