一句话定义:逻辑回归(Logistic Regression)是一种把线性打分压进 0 到 1 之间、输出概率的二分类模型。
原理:先打分,再压成概率
模型先算一个线性分:z = w₁x₁ + w₂x₂ + … + b。每个特征 x 对应一个权重 w,b 是偏置。z 可正可负、可大可小,本身不是概率。接着用 sigmoid 函数 σ(z) = 1 / (1 + e⁻ᶻ) 把它压到 (0,1) 区间。
生活化比方:像信用卡审批的评分卡。收入、负债、逾期次数各算加权分,加总得 z。sigmoid 像一条 S 形“转换尺”:总分很低,通过概率接近 0;总分很高,接近 1;中间段最敏感,分数稍微一动,概率就明显变化。
训练时用最大似然或交叉熵损失,让模型给正确标签更高概率,常用梯度下降求解。决策边界在原始特征空间里是线性的,一条直线或超平面,但输出的是概率而不是硬标签。
和相邻概念的区别
| 对比项 | 逻辑回归 | 线性回归 | 感知机 |
|---|---|---|---|
| 输出 | 0~1 概率 | 连续实数 | 0/1 硬标签 |
| 典型损失 | 交叉熵/对数似然 | 均方误差 | 误分类驱动 |
| 概率解释 | 有 | 无 | 无 |
| 决策边界 | 线性 | 不用于分类 | 线性 |
逻辑回归可看作“单神经元加 sigmoid”,也是 softmax 回归的二分类版本。多分类时把 sigmoid 换成 softmax,就得到多分类逻辑回归。
对从业者和普通人的意义
做 CTR 预估、风控、垃圾邮件识别、疾病风险筛查时,逻辑回归长期是可靠基线:训练快、可解释、系数能看正负影响。高维稀疏特征下配合正则化,效果稳。深度模型流行后,很多模型的分类头仍是“线性层加 sigmoid 或 softmax”,逻辑回归就是那个输出层的基本形态。
对普通人,信用分、广告是否被点、体检风险提示,背后可能都有它。理解 logit = log(p/(1-p)) 是线性的,就能明白:它假设“几率的对数”随特征线性变化,简单但未必能拟合复杂关系——这时才需要更深的网络。具体工具用法以官方文档为准。
