一句话：归纳头是 Transformer 里一类专管“看到 A 后面跟过 B，A 再出现时就把 B 补上来”的注意力头（attention head）。
它怎么工作
先回忆注意力头做的事：每个位置上的词（token）都会回头“看”前面的词，决定从谁那里搬信息过来。归纳头把这件事做成一个两步小回路。
第一步，一个头专门盯住“我前面那个词是什么”，把前一个 token 的信息记到当前位置上——通常叫前一个 token 头（previous-token head）。
第二步，另一个头拿着这份信息，在上下文里往回找：之前有没有哪个位置，前面也是同一个词 A？找到之后，它把注意力挪到那个位置后面的词上，也就是 B，再把 B 的信息搬过来。
合起来就是一个很朴素的模式：A…B…A → B。输入里前面出现过“老张 报销”，后面再出现“老张”，模型就倾向接上“报销”。
生活里的类比是输入法：你打过“今天天气不错”，下次刚敲出“今天天气”，候选词里就跳出“不错”。归纳头干的是同一件事，区别在于它不查词频表，而是当场翻这一段上下文，现找重复。
为什么它值得知道
因为它做的是“复制”，不是“记忆”。模型训练时并没有记住“香蕉汁”这个词，但在上下文里看到“苹果→苹果汁、葡萄→葡萄汁”，它能把“香蕉→香蕉汁”补齐。这种照着已有模式往下套的能力，正是AI 词典：上下文学习">上下文学习（in-context learning）最核心的一块拼图。研究中观察到，这类头往往在训练过程中自发长出来，而且它出现的时机，常和模型突然开始“看例子就会做新题”的时机对得上。
和相邻概念的区别
| 概念 | 层级 | 干什么 |
|---|---|---|
| 注意力头 | 基本单元 | 泛称，任何负责搬运信息的头都算 |
| 归纳头 | 一类特定功能的头，通常两个头协作成回路 | 专门找上下文里的重复，复制它后面的内容 |
| 上下文学习 | 宏观行为 | 看几个例子就会做新任务，归纳头是其中一块机制，但不是全部 |
换句话说：注意力头是零件，归纳头是一类特定功能的零件组合，上下文学习是整机表现出的能力。
对从业者的意义
第一，它解释了为什么在提示里给几个格式一致的例子，模型就能顺着往下写。例子越整齐、模式越干净，这条回路越好用。
第二，它不只带来好处。模型会忠实复制上下文里的模式，包括错的：如果你塞进去的是格式混乱或事实错误的内容，它很可能照着抄。写长上下文时，这一点比“模型懂不懂”更值得警惕。
第三，在机制可解释性（mechanistic interpretability）里，归纳头是个样板间——它是目前被拆解得比较清楚的小电路之一，用来演示怎么从海量参数里拎出一个讲得明白的功能单元。具体实验细节和最新结论，以相关论文和官方文档为准。