一句话定义:表征工程(Representation Engineering,常简称 RepE)是一套「读取并改写模型内部激活」的方法——不碰提示词,也不重新训练权重,而是在模型推理时的中间表示里找到某个概念对应的方向,然后加一点或减一点,把行为推向想要的一侧。
原理:模型内部有一根「概念旋钮」
模型在处理文字时,会把每个词变成一串高维数字,也就是隐藏状态(hidden state)或激活(activation)。关键发现是:不少抽象概念在这片高维空间里近似对应一个方向——「诚实」是一个方向,「拒答」是一个方向,「正式语气」又是一个方向。
具体做法通常分三步:
1. 造对比样本:同一件事写两版,一版如实回答,一版编造;或一版礼貌,一版粗暴。
2. 求方向:把两版分别喂给模型,取出某一层的激活,相减(再取平均),得到一支「操控向量」(steering vector)。
3. 干预:推理时把这支向量乘上一个系数,加到中间层激活上;系数为正就推向一侧,为负就推向另一侧。
反方向也成立:训练一个线性探针(linear probe)去读激活,就能在模型开口之前判断「它此刻偏向哪个方向」——比如它嘴上说没看过某份资料,内部「真实性」方向的读数却已经是负的。
打个比方:提示词像对演员喊「演得再犹豫一点」,靠的是沟通;表征工程则是直接调演员的情绪状态——剧本一字不改,只改状态。或者想成调音台上的推子:提示词是你点的歌,表征工程是你伸手去推的那排均衡器。
和相邻概念的区别
容易混淆的是三类东西:改输入的提示工程、改权重的微调、以及自下而上找电路的AI 词典:机械可解释性">机械可解释性。表征工程站在中间——改的是推理时的激活,权重一动不动。
| 维度 | 表征工程 | 提示工程 | 微调(含 RLHF) |
|---|---|---|---|
| 改动对象 | 推理时的激活 | 输入文本 | 模型权重 |
| 生效速度 | 即时,可实时开关调档 | 即时 | 需训练,周期长 |
| 可解释性 | 高,方向和强度都可量化 | 低,靠试 | 低,行为变化难归因 |
| 代价 | 小,无需重训 | 最小 | 大 |
| 局限 | 概念未必线性,强度过大会损伤流畅度 | 易被绕过 | 成本高、难回滚 |
它和机械可解释性(mechanistic interpretability)是互补的:后者自下而上拆电路、拆神经元,追求「理解」;表征工程自上而下按行为找方向,追求「可控」。而激活干预、控制向量这些说法,基本可以看作同一族技术里的不同叫法。
对从业者和普通人的意义
对从业者:这是一条便宜的安全与调优路径。可以用它加固拒答边界、压低幻觉、统一客服语气、做越狱防御,也可以拿探针当「内部体检」——评测模型是「不知道」还是「知道但硬编」。它不改权重、可随时关掉,特别适合做实验和线上开关。
对普通人:这意味着同一个模型,在不同产品里可以有截然不同的「性格」,而且部署方一键就能调;也意味着审计方有机会不看输出、只看内部状态,判断模型是否在隐瞒。要提醒的是,它是「调旋钮」而不是「装知识」——教不会模型新技能;概念也不总是笔直一条线,层选在哪儿、系数给多大,都得靠实验校准,具体效果以官方文档和实测为准。
