一句话定义：梯度提升（Gradient Boosting）是一类集成学习方法，它把许多个"弱模型"（通常是浅决策树）一个接一个地串起来训练，后一个专门去修正前一个还没搞定的部分；XGBoost 是这套思想最有名的工程实现之一。
打个比方：一群人接力改同一份作业。第一个人凭直觉写了个粗糙答案，第二个人不看题目、只看"第一个人错在哪"，专门订正这部分偏差；第三个人再订正前两人剩下的错……每个人只负责补上前面留下的窟窿。最后把所有人的修改叠加起来，答案就相当准了。这里的"前面剩下的错"就是残差（residual）。
"梯度"体现在哪：如果损失函数是常见的平方误差，残差恰好等于损失对当前预测值的负梯度，所以"补残差"就是沿梯度方向走一步。换成其他损失函数（如逻辑损失）时，残差不好直接定义，就直接用负梯度代替——这也是"梯度提升"名字的由来。注意它跟神经网络里的反向传播不是一回事：这里求的是"对预测值"的梯度，不是对模型参数。
和相邻概念的区别：
| 维度 | 梯度提升 / XGBoost | 随机森林（Random Forest） | 深度神经网络 |
|---|---|---|---|
| 树的训练方式 | 串行，后树依赖前树 | 并行，各树独立 | 层与层联合优化 |
| 主要作用 | 逐步降低偏差 | 主要降低方差 | 自动学特征表示 |
| 表格数据表现 | 通常很强 | 稳、几乎不用调参 | 常被前者压过 |
| 调参难度 | 敏感 | 不敏感 | 敏感但维度不同 |
XGBoost 相比朴素 GBDT 的关键改进：对目标函数做二阶展开（同时用一阶、二阶梯度）、显式加入正则项惩罚树的复杂度、支持列采样、稀疏数据感知、以及工程层面的并行与缓存优化。后来还有 LightGBM、CatBoost 等实现，各有侧重，具体特性和最新版本以各自官方页面为准。
对从业者的意义：风控评分、点击率预估、销量预测这类结构化表格任务，梯度提升往往是第一选择，很多竞赛的获奖方案也以它为骨架。但它调参敏感：学习率、树的数量、树深、正则强度互相纠缠，学习率调小就得配更多树。实用套路是先设一个较小的学习率、给足树的数量，再靠验证集早停（early stopping）找拐点。反过来说，如果你的数据是图像、语音、长文本这类有强空间或序列结构的，深度学习的优势更明显——不存在"谁一定更强"，只有"哪类数据上谁更划算"。