跳到主内容
快讯直播
AI智模界
AI 词典

注意力头:一个注意力层里的多组"观察视角

一句话定义:注意力头(Attention Head)是 Transformer 模型里注意力层内部的并行计算分支,每个头都有自己的一套参数,决定"该重点看句子中哪些词",多个头同时给出各自的结果,最后合并。

它到底在干什么

一句话进模型后,每个词都会变成一串数字(向量)。注意力机制让每个词去"看"其他词:把词的向量分别投影成三个角色——查询(Query)、键(Key)、值(Value)。用我的查询和所有词的键做点积,算出一组相关度分数,经 softmax 归一化成权重,再按权重把所有的值加权求和。这一套叫缩放点积注意力(Scaled Dot-Product Attention)。

问题在于:一套参数只能学会一种"打分方式",好比只能问一个问题。于是多头注意力(AI 词典:Multi-Head Attention">Multi-Head Attention)让 h 个头并行开工,每个头有自己的查询、键、值投影矩阵,各自算出一份加权结果,最后把所有头的输出拼接起来,再乘一个输出矩阵融合成一个结果。

打个比方:一份合同交给三位同事分头看。一位专盯"谁对谁负责",一位专找时间和期限,一位留意否定词和例外条款。三个人看的都是同一份文件,但视角不同,最后把三份批注合在一起,比一个人从头看到尾更不容易漏。

容易混的几个概念

对比项注意力层(Attention Layer)注意力头(Attention Head)
层级一个完整的模块层内部的一条并行分支
数量一层一个一层通常有多个,同时工作
参数汇总所有头的投影每头独立一套 Q/K/V 投影
输出融合后的单一结果每头一份加权结果

还要注意:多头不是把计算量翻几倍。总宽度是固定的,多个头是把这份宽度切开来用,每个头只分到一小块维度(头维度 = 总维度 ÷ 头数),所以总开销和单头大体相当。另外,多头注意力是机制的名字,注意力头是这个机制里的组成单位。

对从业者和普通人的意义

对从业者:头数和头维度是常见的超参数选择;实践中不少头是冗余的,剪掉一部分对效果影响有限,所以"头重要性分析""头剪枝"是模型压缩和可解释性研究的常用手段。但别过度解读单个头——所谓"指代头""句法头"这类标签,往往只在特定模型、特定输入上成立,换个模型未必复现,具体结论以自己实验为准。

对普通人:模型能同时追踪多种词间关系,是它能处理长句、跨句指代、多重修饰的原因之一。但"多头"终究只是几组并行的线性投影加加权求和,不必把它想象成几个各怀绝技的小人在开会。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。