一句话定义:在机器学习里,基尼系数(Gini coefficient)通常指基尼不纯度(Gini impurity),用来衡量一个数据集合里“类别混得有多杂”,取值越小越纯,为 0 表示清一色。
它是怎么算的
假设一个节点里有 k 个类别,第 i 类样本占比是 pᵢ,那么:
> 基尼不纯度 = 1 − Σ pᵢ²
二分类时就是 2p(1−p)。它其实有个很直观的等价解释:从这堆样本里有放回地随机抽两个,它们类别不一样的概率。全是同一个类,抽多少次都一样,概率是 0;五五开的两类混在一起,抽到不同的概率最大。
打个比方:一个会议室里随机点两个人问老家。如果全公司都是同城招的,点到“不同省份”的概率接近 0——这个群体很“纯”;如果是五湖四海的团队,随便点两个大概率籍贯不同——很“杂”。基尼不纯度量的就是这个“杂”。
决策树怎么用它
决策树(尤其 CART 这一类)每次分裂节点时,会尝试所有候选特征和切分点,算一算:切完之后左右两边的加权基尼不纯度是多少?挑那个让不纯度下降最多的切法。所以你在代码里看到的 criterion='gini' 就是这个意思。它也派生出了基于不纯度下降的特征重要性(常被称为 MDI,mean decrease in impurity),但它偏向取值多的特征,看的时候要多留个心眼。
三个容易混的东西
| 基尼不纯度(ML) | 信息熵(ML) | 基尼系数(经济学) | |
|---|---|---|---|
| 衡量什么 | 节点内类别混杂程度 | 同上,信息论视角 | 收入、财富分配不平等 |
| 取值区间 | 0 ~ 1−1/k | 0 ~ log k | 0 ~ 1 |
| 取 0 意味着 | 全是同一类,最纯 | 全是同一类 | 绝对平均 |
| 典型用途 | 决策树分裂准则 | 决策树、特征选择 | 社会经济统计 |
和信息熵相比,基尼不纯度只做平方、不做对数,算得快,效果又非常接近,这是它被树模型偏爱的主要原因。
和经济学基尼系数则是同名不同物:经济学家算的是洛伦兹曲线(Lorenz curve)与绝对平均线之间那块面积的比例,0 是人人收入相同,1 是一个人拿走全部。两者都源自意大利统计学家 Corrado Gini 那一脉的“不均衡”思想,公式也确有渊源,但应用场景完全不同——看到“gini”先看上下文:讲社会分配的是经济学口径,讲模型分裂的是不纯度口径。
另外在排序和风控建模里还会遇到“标准化基尼系数(Normalized Gini)”,它衡量模型把好坏样本排开的程度,二分类下和 AUC 有一一对应关系(常写作 2×AUC−1),跟决策树里的不纯度又是两码事。
对从业者的意义
调树模型时,理解基尼不纯度能帮你判断:为什么这棵树在这份数据上切得这么碎、为什么某些高基数 ID 类特征抢走了所有分裂机会。做风控、评分卡的同学则要注意,评估报告里的“基尼系数”通常指排序口径,别和经济学指标或分裂准则混着引用。
对普通人来说,记住一句话就够了:AI 里说的基尼系数,八成是在问“这堆东西混得有多杂”,而不是在讨论贫富差距。
