跳到主内容
快讯直播
AI智模界
AI 词典

基尼系数:AI 里的“不纯度”,不是经济学那条收入曲线

一句话定义:在机器学习里,基尼系数(Gini coefficient)通常指基尼不纯度(Gini impurity),用来衡量一个数据集合里“类别混得有多杂”,取值越小越纯,为 0 表示清一色。

它是怎么算的

假设一个节点里有 k 个类别,第 i 类样本占比是 pᵢ,那么:

> 基尼不纯度 = 1 − Σ pᵢ²

二分类时就是 2p(1−p)。它其实有个很直观的等价解释:从这堆样本里有放回地随机抽两个,它们类别不一样的概率。全是同一个类,抽多少次都一样,概率是 0;五五开的两类混在一起,抽到不同的概率最大。

打个比方:一个会议室里随机点两个人问老家。如果全公司都是同城招的,点到“不同省份”的概率接近 0——这个群体很“纯”;如果是五湖四海的团队,随便点两个大概率籍贯不同——很“杂”。基尼不纯度量的就是这个“杂”。

决策树怎么用它

决策树(尤其 CART 这一类)每次分裂节点时,会尝试所有候选特征和切分点,算一算:切完之后左右两边的加权基尼不纯度是多少?挑那个让不纯度下降最多的切法。所以你在代码里看到的 criterion='gini' 就是这个意思。它也派生出了基于不纯度下降的特征重要性(常被称为 MDI,mean decrease in impurity),但它偏向取值多的特征,看的时候要多留个心眼。

三个容易混的东西

基尼不纯度(ML)信息熵(ML)基尼系数(经济学)
衡量什么节点内类别混杂程度同上,信息论视角收入、财富分配不平等
取值区间0 ~ 1−1/k0 ~ log k0 ~ 1
取 0 意味着全是同一类,最纯全是同一类绝对平均
典型用途决策树分裂准则决策树、特征选择社会经济统计

和信息熵相比,基尼不纯度只做平方、不做对数,算得快,效果又非常接近,这是它被树模型偏爱的主要原因。

和经济学基尼系数则是同名不同物:经济学家算的是洛伦兹曲线(Lorenz curve)与绝对平均线之间那块面积的比例,0 是人人收入相同,1 是一个人拿走全部。两者都源自意大利统计学家 Corrado Gini 那一脉的“不均衡”思想,公式也确有渊源,但应用场景完全不同——看到“gini”先看上下文:讲社会分配的是经济学口径,讲模型分裂的是不纯度口径。

另外在排序和风控建模里还会遇到“标准化基尼系数(Normalized Gini)”,它衡量模型把好坏样本排开的程度,二分类下和 AUC 有一一对应关系(常写作 2×AUC−1),跟决策树里的不纯度又是两码事。

对从业者的意义

调树模型时,理解基尼不纯度能帮你判断:为什么这棵树在这份数据上切得这么碎、为什么某些高基数 ID 类特征抢走了所有分裂机会。做风控、评分卡的同学则要注意,评估报告里的“基尼系数”通常指排序口径,别和经济学指标或分裂准则混着引用。

对普通人来说,记住一句话就够了:AI 里说的基尼系数,八成是在问“这堆东西混得有多杂”,而不是在讨论贫富差距。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。