一句话定义:矩阵的秩(Matrix Rank),就是这张数字表里“互相独立、无法由彼此拼凑出来”的信息共有几维。
举个职场上的例子。十个部门轮流上台汇报,PPT 换着说法讲同一件事:同一个项目、同一批数据、同一个结论,只是配色和措辞不同。听完你会说:听上去有十份材料,真正有效的信息只有一份。把这十行汇报看成矩阵的十行,这个矩阵的秩就是 1。
再看一组具体数字:三行数据 (1, 2)、(2, 4)、(3, 6)。看起来是 3 个样本、2 个特征,很像一个 3×2 的矩阵;但每一行都是第一行乘个倍数,第二列也永远等于第一列乘 2。没有新东西。所以它的秩是 1,而 3×2 矩阵的秩最多只能到 min(3, 2) = 2。所谓“满秩(full rank)”,就是秩取到了这个上限,意味着每一行、每一列都在提供新信息;没取到就叫“秩亏(rank deficiency)”,说明存在冗余。
怎么算。 用高斯消元把它化成行阶梯形,数一数有几行不是全零。这里有个漂亮的定理:行秩恒等于列秩,所以不用纠结“按行看还是按列看”,统一叫秩。等价的几何说法是:把矩阵看成一个线性映射,秩就是这个映射的像空间(image)的维度;也就是说,它把输入空间压到了几维。
它和几个容易混淆的概念的区别:
| 概念 | 回答的问题 | 注意点 |
|---|---|---|
| 秩 | 有几个独立方向 | 任意形状的矩阵都有;上界是 min(行数, 列数) |
| 行列式(determinant) | 体积被拉伸了几倍 | 只对方阵有定义;行列式非零等价于满秩 |
| 奇异值(singular value) | 每个方向各被拉伸几倍 | 秩就等于非零奇异值的个数 |
| 稀疏度(sparsity) | 表里有多少个零 | 与秩没有必然关系:一个极稀疏的矩阵也可能满秩 |
注意:稀疏和秩是两回事。一个矩阵全是非零数字,也可能只有一维真信息;而一个几乎全零的矩阵,只要零散位置够“错开”,照样能满秩。
对实际工作意味着什么。 第一,做特征工程时如果发现特征矩阵秩亏,就说明某些特征能由其他特征线性组合出来,回归系数会不稳定,这时要去掉冗余列或者加正则化(regularization)。第二,在压缩上,截断奇异值分解能给出给定秩下的最优近似,这是大量模型压缩、降维方法的基础。第三,推荐系统和向量检索里的矩阵分解,本质上是假设用户、物品或文本的交互矩阵是低秩的,然后用少数几个隐向量(latent vector)解释海量观测。第四,LoRA 这类微调方法把权重更新拆成两个很“瘦”的矩阵相乘,前提假设就是“微调带来的改变是低秩的”。权重矩阵到底有多低秩、能压到多小,各家实现差异很大,具体以官方文档为准。
一句话收尾:秩是给矩阵去重的尺子。它不数你存了多少个数,只数你能说出几句不重复的话。
