跳到主内容
快讯直播
AI智模界
AI 词典

指令遵循率:模型听懂了却没照做的那部分

一句话定义:指令遵循率(Instruction Following Rate)是指在一批带有明确约束的请求中,模型输出完整满足全部约束的比例。它衡量的是模型有没有按要求做,不衡量答案本身对不对。

它到底在量什么

一条指令通常分两层。一层是内容层:问题本身要答对。另一层是约束层:格式、长度、语气、字段、禁止项。

举个例子:“把这段会议记录整理成三条待办,每条不超过 20 字,不要出现人名,用 Markdown 列表输出。”模型整理得很有道理,但写了五条、带了人名、每条三十多字。这次就是内容合格、遵循失败。

约束越多、越细,全部命中的概率越低,这是这个指标最容易被忽略的地方。十条约束里做到九条,宽松打分算九十分,严格打分就是零分。两种算法差得很远,所以看到“指令遵循率 9x%”这类说法时,先问一句:一条指令里多条约束,是全中才算过,还是按条计分。

打个比方

像点外卖时备注“不要香菜、少辣、酱料单独打包”。菜好不好吃是准确率,备注有没有照做是指令遵循率。厨师手艺再好,端上来一把香菜,这单对下单的人就是失败的。

也像交代实习生干活:活干得漂亮,但你要的是 Excel 表,他交上来一份 Word,你还是得返工。返工的成本,就是这个指标低带来的成本。

和相邻指标的区别

指标回答的问题典型反例
准确率(Accuracy)答案对不对事实错误、推理跳步
指令遵循率要求做到没做到让写 100 字,写了 300 字
安全性、合规该不该这么答泄露隐私、越界建议
有用性(Helpfulness)整体好不好用都对都合规,但空话连篇

准确率高,但遵循率低,是日常体感最差的组合。你能明显看出它“读懂了”,就是“没照做”,这种挫败感比它答错还强。

对实际工作意味着什么

做评测:把“答对”和“照做”分开统计,不要用一个总分掩盖问题;约束类用例尽量设计成可机器检查的,用正则或结构校验来判断,否则只能靠人一条条看。

写提示词:把约束写成清单,最重要的放最前面;用“必须”“禁止”这类硬性词,少用“最好”“尽量”;长任务分几步给,一次堆十几条约束,漏一条是常态;结构化输出用 JSON Schema 之类的校验兜底,不合格就重试一次。

普通职场人:与其抱怨“这模型不行”,不妨把要求改成可检查的形式——“三句话以内”“不要用形容词”“只输出表格,不要解释”。不给它可验证的标准,它就只能猜你想要什么,猜偏了双方都委屈。

具体支持哪些约束、校验能力到哪一步,各家模型差异不小,以官方文档页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。