跳到主内容
快讯直播
AI智模界
AI 词典

主成分分析(PCA):方差最大的方向,未必讲得通

主成分分析(Principal Component Analysis, PCA)是一种无监督降维方法:把多个可能相关的变量,重新组合成少数几个互不相关的新变量,用尽量少的信息损失概括原始数据。新变量叫主成分(principal components)。

它的做法分三步。第一,把各列标准化,让量纲不同的特征可以比较。第二,找数据分布中方差最大的方向,作为第一主成分;再找与它正交(orthogonal,即不相关)且方差次大的方向,作为第二主成分,依次类推。第三,只保留前 k 个方向,把每条数据投影上去,就得到降维后的表示。

打个比方:一群人的身高、体重、臂展、腿长往往高度相关。你要用两个数字描述他们,随机挑两项会丢信息。更好的办法是造两把“综合尺子”:第一把尽量拉开人与人之间的差异,比如“整体骨架大小”;第二把与第一把垂直,继续拉开剩余差异,比如“胖瘦比例”。PCA 找的就是这两把尺子。方差越大,说明这个方向承载的个体差异越多,越值得保留。

它常和几个概念混在一起:

对比是否用标签输出典型用途
PCA新的正交综合特征降维、压缩、去噪
线性回归预测值预测、解释
特征选择原始特征子集保留可解释性
t-SNE / UMAP低维嵌入可视化探索

关键点在于:主成分是数学上方差最大的方向,未必对应可解释的真实特征。第一主成分常被事后命名为“综合实力”或“用户活跃度”,但它可能是身高、体重、收入、点击率的线性组合,权重符号也未必有物理含义。特征量纲变了、样本换了,方向都可能旋转。所以别把主成分当“发现了某个真实因子”——那是因子分析(factor analysis)的目标之一,并且带有额外模型假设。

对从业者,PCA 适合做预处理:去噪、压缩、缓解多重共线性、加速下游模型。实践上先标准化,用解释方差比(explained variance ratio)选维度,注意它对异常值敏感,因为方差会被极端值主导;需要可解释性时慎用。对普通人,推荐系统、图像压缩、数据可视化里都有它的影子;“第一主成分解释了六成差异”只说明一个综合分数概括了六成波动,不代表这个分数就是某个真实指标。

具体工具的参数与接口以官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。