跳到主内容
快讯直播
AI智模界
AI 词典

乘积量化(PQ):把向量切段压缩的省内存术

一句话定义:乘积量化(Product AI 词典:Quantization">Quantization, PQ)是一种面向高维向量的压缩与近似距离计算方法:把一条高维向量切成若干段低维子向量,每段分别用少量聚类中心表示,从而用很少的字节存下原向量,并快速估算向量间距离。

展开讲清原理:假设一条 128 维浮点向量,用 float32 存要 512 字节。PQ 不整体存它,而是切成 16 段,每段 8 维。对每一段,先在海量训练向量上跑 k-means,得到比如 256 个聚类中心,这一组中心叫码本(codebook)。编码时,每个 8 维子向量去找最近的中心,记下中心编号。一个编号 0~255 只占 1 字节,16 段就是 16 字节。原来 512 字节压到 16 字节,约 32 倍。

打个生活化比方:搬家时把一整柜衣服按季节分袋,每袋只贴一个标签,而不是把每件衣服的细节都完整保留。查询时,把查询向量也切 16 段,预先算它到每段 256 个中心的距离,做成 16 张查找表;再对数据库里每条压缩码,把对应编号的查表值加起来,就是近似距离。查询侧保留原始向量、库侧只用码字,这种常见做法叫非对称距离计算(Asymmetric Distance Computation, ADC)。

和相邻概念的区别

概念做法特点
标量量化(Scalar Quantization, SQ)每一维独立压低精度简单,压缩率有限
乘积量化(PQ)一小段维度联合聚类压缩更狠,能捕捉子空间相关性
局部敏感哈希(Locality-Sensitive Hashing, LSH)随机投影分桶通常不学码本,靠哈希碰撞
倒排索引(Inverted File, IVF)先粗聚类缩小搜索范围常与 PQ 组合成 IVF-PQ

还有优化版如 OPQ 会先旋转向量让各段更均衡,残差量化(Residual Quantization, RQ)会多级修正误差。PQ 本身更偏压缩和距离估算,不是图索引那样的导航结构。

实际意义:对 AI 从业者,PQ 是向量数据库近似最近邻(Approximate Nearest Neighbor, ANN)检索的省内存利器。十亿级 128 维向量若用 float32 存储,内存需求可达几百 GB;PQ 常能把它降到几十分之一。代价是召回率会下降,需要调子向量数、每段中心数,或用重排(rerank)拿少量候选回原始向量精算。对普通人,手机相册以图搜图、电商相似商品、推荐系统召回,背后可能都在用这类压缩,让海量向量检索变得可行。具体参数和实现细节,以官方文档和代码库为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。