一篇题为《You could have invented transformers from memory》的博客文章刊登在 alexwang.ai 上（原文链接：alexwang.ai/posts/associative-memory/）。从标题来看，文章的核心主张是：Transformer 并非只能被当作“工程上的偶然发明”，它的关键机制可以从“联想记忆”这一更朴素的直觉出发，一步步推导出来，读者完全有能力“自己想出来”。
在经典神经网络语境里，联想记忆指的是用一组模式之间的关联来存储与检索信息：给定一个线索（key），网络返回与之最匹配的内容（value）。这一思路在 Hopfield 网络、Hebbian 学习等早期工作中已有体现。近年来的研究则反复指出，注意力机制可以看作一种可微的、基于内容的软检索：查询与键做相似度匹配，再加权求和得到值。换言之，Transformer 里最“神秘”的那一步，本质上就是一次联想记忆的读取。
这类“从第一性原理重新发明”的写作，对 AI 从业者的价值在于视角，而不在于结论：当你把 attention 视为记忆检索，而不再把它视为黑箱算子时，多头、缩放点积、位置编码等设计选择就有了更自然的解释路径，也更容易判断在什么场景下该改动、该保留什么。对教学而言，这种由直觉出发的推导，比直接罗列公式更有利于建立长期直觉；对工程实践而言，理解“检索”这一层语义，也有助于分析长上下文、检索增强等问题时抓住主要矛盾。
需要说明的是，以上讨论仅基于文章标题所指向的思路，具体的推导步骤、论证方式与结论请以原文为准。