2021 年发布的论文《A Mathematical Framework for Transformer Circuits》，试图为 Transformer 的内部计算建立一套数学描述框架，发布在 transformer-circuits.pub，被归入论文类资料。
论文面对的问题很直接：Transformer 的能力来自多层注意力与 MLP 的叠加，但其计算过程长期被视为黑箱。该框架提出以“电路”的视角对模型进行拆解——把残差流看作信息在层间传递的主干通道，把每个注意力头看作相对独立的读写模块，用 QK 电路刻画“往哪里看”，用 OV 电路刻画“搬运什么信息”，并通过头与头之间的组合关系来描述多层结构中的信息流动。
这一视角的意义在于，它把“模型在大规模训练中究竟学到了什么”从一个偏哲学的问题，转化为可以逐层、逐头分析的对象。对 AI 从业者而言，这类工作构成了机制可解释性（mechanistic interpretability）的方法论基础：它不仅用于解释已有现象，也为评估模型行为、定位异常回路，以及在结构层面理解涌现能力提供了可操作的切入点。
同时也应看到，该框架的推导最初面向以注意力为主的简化设定，如何推广到包含 MLP、更深层数以及真实训练得到的模型，仍是后续研究需要持续处理的问题。
原文链接：https://transformer-circuits.pub/2021/framework/index.html