LightGBM（Light Gradient Boosting Machine）是微软开源的一款梯度提升决策树（Gradient Boosting Decision Tree, GBDT）实现，主打训练快、内存省，是表格类数据建模最常用的工具之一。
它的“快”来自两个设计，而这两个设计也正是它容易过拟合的根源。
一是直方图分箱（histogram binning）。 传统 GBDT 找切分点时，会把某个特征的所有取值排序后逐个试，数据量一大就非常慢。LightGBM 先把连续特征离散成若干个桶（默认几十到几百个 bin），之后只在桶的边界上找切分点。可以理解为查字典：不是从第一页翻起，而是先按拼音首字母分区，再在小区块里找。代价是切分精度变粗了——两个只差一点点的取值被扔进同一个桶，模型就再也分不开它们。
二是叶子优先生长（leaf-wise growth）。 XGBoost 默认按层生长（level-wise），一层里的节点全部裂完再裂下一层；LightGBM 默认每次从所有叶子中挑“当前收益最大”的那一个去分裂，不管它有多深。像修剪果树，不是整排枝条齐头并进，而是哪根枝条最有前途就往哪猛长。结果是树又深又瘦，叶子数量相同的情况下拟合能力更强，但也更容易一头扎进噪声里。
在小数据上，这两点叠加就很危险：桶里的样本本来就少，统计出来的切分收益可能只是偶然；leaf-wise 又不受层数约束，几千行数据也能长出一棵很深、每片叶子只剩几行的树。它会把训练集记得很牢，测试集一塌糊涂。
| 维度 | XGBoost | LightGBM |
|---|---|---|
| 找切分点 | 遍历特征取值（预排序） | 直方图分箱，只试桶边界 |
| 树的生长 | 默认按层（level-wise） | 默认按叶子（leaf-wise） |
| 速度与内存 | 较慢、较费内存 | 快、省内存 |
| 小数据表现 | 相对稳 | 更容易过拟合，需调参 |
| 类别特征 | 传统上需先编码 | 可声明类别特征，原生处理 |
顺便区分一下：随机森林（Random Forest）是并行训练很多棵树再投票（bagging），LightGBM 是一棵一棵串行补前一轮的残差（boosting）；CatBoost 走的是对称树（oblivious tree）路线，抗过拟合更天然，但速度通常慢一些。慢不等同于差，快也不等同于聪明。
对从业者来说，实用结论是：数据量大、特征多、要快速迭代时，LightGBM 基本是首选；而在几千行的小数据上，别用默认参数直接跑，重点限制 num_leaves、调大 min_data_in_leaf、加 feature_fraction/bagging 和早停，必要时把树退回按层生长，或者干脆换 XGBoost、CatBoost。具体默认值和参数名以官方文档为准。