跳到主内容
快讯直播
AI智模界
AI 词典

电路分析:模型不是一堆神经元,而是一张线路图

一句话定义:电路分析(Circuit Analysis)是AI 词典:机械可解释性">机械可解释性(mechanistic interpretability)中的一种研究方法。它把模型内部的计算看成一张由许多“特征”及其相互连接构成的线路图,并试图找出一条从输入通向某个具体行为的连通子图,以此解释模型究竟如何算出这个结果。

它是怎么做的:模型每一层的激活都可拆成大量特征(features),例如“这是引号内的内容”“这是化学式”“上文出现过同一个人名”。这些特征通过权重连接到下一层,连接有正有负:有的起促进作用,像导线把信号送出去;有的起抑制作用,像接地把信号压下去。电路分析做的就是逆向追踪:先锁定一个要解释的行为,再逐个环节替换或关闭(常见手段有激活修补 activation patching、路径修补 path patching、消融 ablation),观察输出是否随之改变,以此判断这条连线是否真的在起作用。

打个比方:修收音机不出声,不会指望换掉某个晶体管就修好,而是拿表沿着线路一段段量:电源通不通、哪一级放大失效、信号在哪断了。又像追查公司里一个决策怎么来的:关键不在一句“谁拍的板”,而在哪几个部门、哪几条汇报线把信息一级级传上去、在哪一环被改写。经典例子是“归纳头(induction head)”:它由多个注意力头分工协作,共同完成“上文出现过 A 后面跟 B,那么这次看到 A 就预测 B”这类上下文学习行为。

和相邻概念的区别:神经元级解释(neuron-level interpretation)想给单个神经元贴标签,比如“这是猫神经元”。电路分析认为这通常过度简化:同一个神经元往往混着好几个不相关的功能,叫多义性(polysemanticity),真正稳定的单元是特征以及特征之间的连接模式。它也和注意力可视化不同:后者只告诉你“模型看了哪里”,电路分析要回答“看了之后怎么算的”。

单神经元解释电路分析
解释单元单个神经元或通道多个组件组成的子图
典型问题这个神经元对什么敏感这个行为由哪条通路完成
常见失败换模型、换输入就不成立图太长、组件冗余,难以穷尽
干预方式关掉某个神经元精准改写某条连接

对从业者的意义:做安全审计时,能定位到产生有害输出的具体通路,做更精准的干预;做知识编辑和模型调试时,知道该改哪里,而不是全局调参。对普通人也有一个提醒:模型的行为并不由某个“决策神经元”决定,所以“删掉一个神经元就修好”的想法基本行不通;可解释性的产出,通常是一张针对某类行为的局部电路图,而不是一句漂亮的人话解释。具体工具与接口能力请以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。