一句话定义：Transformer 是一种神经网络架构，核心是「自注意力」（self-attention）——让输入序列里的每个位置都能直接跟其他所有位置交换信息，而不是按顺序一个一个往下传。它在 2017 年由 Google 团队提出，此后几乎所有主流大模型都沿用了它的骨架。
打个生活化的比方：老一代的循环神经网络（RNN, Recurrent Neural Network）像传话游戏——第一个人读完把话传给第二个，第二个再传给第三个，信息传到最后往往已经模糊。Transformer 则是把所有人一次性拉进会议室：每个人都可以直接问其他任何一个人“你那句讲了什么”，再按相关程度决定听谁的多、听谁的少。
这个“按相关程度听取”怎么实现：每个词会生成三个向量——Query（我在找什么）、Key（我能提供什么）、Value（我实际携带的内容）。用 Query 和所有 Key 打分，经过 softmax 归一化成权重，再对 Value 加权求和，就得到这个词的新表示。整个过程是矩阵乘法，整段文本可以一次并行算完，而不是像 RNN 那样必须等前一个时刻算完。
几个关键零件：AI 词典：多头注意力">多头注意力（multi-head attention）让模型同时开几组“小组会”，分别捕捉语法搭配、指代关系、语义关联；位置编码（positional encoding）把顺序信息补回去，因为注意力本身是“无序”的；再加上残差连接（residual connection）和层归一化（layer normalization），把这些模块一层层堆叠起来，就成了可训练的大网络。
| RNN | CNN | Transformer | |
|---|---|---|---|
| 信息传递 | 按时间步逐个 | 局部窗口滑动 | 任意两位置直连 |
| 并行程度 | 差 | 好 | 好 |
| 长距离依赖 | 容易衰减 | 需要堆很多层 | 一步到位 |
| 数据胃口 | 小 | 中 | 大 |
为什么它成了统一骨架：
第一，并行度高，才能把数据量和参数量一起往上堆，让规模扩展（scaling）这条路走得通。第二，结构通用——文本、代码、语音帧、图像切成的图块，只要能变成一串 token，同一套结构就能处理，视觉领域的 ViT 就是这么来的。第三，一套架构覆盖三种范式：只用编码器偏理解（如 BERT 类）、只用解码器偏生成（GPT 类）、编解码器搭配做翻译类任务。第四，工程生态全在它身上：算子优化、KV 缓存、长上下文技巧，都是围绕同一骨架积累的，迁移成本极低。
对从业者和普通人的意义：理解注意力，就理解了上下文窗口为什么有限、为什么上下文越长越贵（注意力计算随长度呈平方增长）、为什么推理时要存 KV 缓存。对普通人来说，最实用的一条是：模型的“上下文”不是记忆，它每次只是在根据现有输入逐 token（词元）预测下一个 token——这能解释很多它“看起来懂了、其实没记住”的时刻。