一句话定义:指令遵循率(Instruction Following Rate)是指在一批带有明确约束的请求中,模型输出完整满足全部约束的比例。它衡量的是模型有没有按要求做,不衡量答案本身对不对。
它到底在量什么
一条指令通常分两层。一层是内容层:问题本身要答对。另一层是约束层:格式、长度、语气、字段、禁止项。
举个例子:“把这段会议记录整理成三条待办,每条不超过 20 字,不要出现人名,用 Markdown 列表输出。”模型整理得很有道理,但写了五条、带了人名、每条三十多字。这次就是内容合格、遵循失败。
约束越多、越细,全部命中的概率越低,这是这个指标最容易被忽略的地方。十条约束里做到九条,宽松打分算九十分,严格打分就是零分。两种算法差得很远,所以看到“指令遵循率 9x%”这类说法时,先问一句:一条指令里多条约束,是全中才算过,还是按条计分。
打个比方
像点外卖时备注“不要香菜、少辣、酱料单独打包”。菜好不好吃是准确率,备注有没有照做是指令遵循率。厨师手艺再好,端上来一把香菜,这单对下单的人就是失败的。
也像交代实习生干活:活干得漂亮,但你要的是 Excel 表,他交上来一份 Word,你还是得返工。返工的成本,就是这个指标低带来的成本。
和相邻指标的区别
| 指标 | 回答的问题 | 典型反例 |
|---|---|---|
| 准确率(Accuracy) | 答案对不对 | 事实错误、推理跳步 |
| 指令遵循率 | 要求做到没做到 | 让写 100 字,写了 300 字 |
| 安全性、合规 | 该不该这么答 | 泄露隐私、越界建议 |
| 有用性(Helpfulness) | 整体好不好用 | 都对都合规,但空话连篇 |
准确率高,但遵循率低,是日常体感最差的组合。你能明显看出它“读懂了”,就是“没照做”,这种挫败感比它答错还强。
对实际工作意味着什么
做评测:把“答对”和“照做”分开统计,不要用一个总分掩盖问题;约束类用例尽量设计成可机器检查的,用正则或结构校验来判断,否则只能靠人一条条看。
写提示词:把约束写成清单,最重要的放最前面;用“必须”“禁止”这类硬性词,少用“最好”“尽量”;长任务分几步给,一次堆十几条约束,漏一条是常态;结构化输出用 JSON Schema 之类的校验兜底,不合格就重试一次。
普通职场人:与其抱怨“这模型不行”,不妨把要求改成可检查的形式——“三句话以内”“不要用形容词”“只输出表格,不要解释”。不给它可验证的标准,它就只能猜你想要什么,猜偏了双方都委屈。
具体支持哪些约束、校验能力到哪一步,各家模型差异不小,以官方文档页面为准。
