一句话定义:图像编辑的指令遵循率(instruction following rate),指在一批改图任务中,模型「只改了你让它改的地方、其余部分原封不动」的次数占比。
它其实在问两件事
这个词看着像单一指标,实际是两件事的合体:
1. 改对了吗——你说「把外套换成红色」,外套真的红了;
2. 没让它改的地方保住了吗——脸还是那张脸,背景还是那个背景。
两件事都成立才算「遵循」。「外套红了但人也整容了」「人物没变但背景从咖啡馆变成雪山」,都会使这项指标下降。所以它本质上是衡量生成模型局部可控性的指标,而不是图像质量的指标。
打个比方:装修师傅
你请师傅「把这面墙刷成绿色」。他刷了墙,这算过关;但他顺手把你的沙发换了色、把墙上的画挪了位置、还给你换了张脸,那这活就不能验收。理想的图像编辑应该像 Photoshop 里的图层蒙版(mask):蒙版内随便改,蒙版外一个像素都别动。问题在于,现在的扩散模型(diffusion model)做的是「整张图重新画一遍」,而不是「在原图上抠一块改」。只要整图重绘,就有身份漂移(identity drift)和背景漂移的风险,这也是指令遵循率天然不高的原因。
常见缓解手段包括局部重绘掩码(inpainting)、参考图与身份保持(identity preservation)、以及更强的指令解析——但都是缓解,不是消除。
和相邻概念的区别
| 概念 | 它问的问题 | 举例 |
|---|---|---|
| 指令遵循率 | 该改的改了吗?不该改的动了吗? | 只换衣服,脸和背景不变 |
| 图像质量与美观度 | 这张图好看吗、清晰吗? | 生成的人物皮肤纹理真实 |
| 编辑成功率 | 这次编辑达到目标了吗? | 衣服确实变红了 |
| 可控性(controllability) | 模型能不能被精确指挥? | 一种能力 |
| 指令遵循率 | 上面这项能力的量化指标 | 一个数字 |
顺带一提,它和文本大模型的 instruction following 不是一回事。文本只问「你按我说的写了吗」;图像还要额外问「你没动别的地方吧」,多了一个「保真」的维度。
对从业者和普通人的意义
对做产品的人:别用单张精修 demo 判断模型好坏,那是最容易挑出来的一张。要做成对评测——一条指令一个样本,同时看修改区域正确率和非修改区域的一致性(常用像素差异、结构相似度一类指标衡量),并且专门测「多条指令叠加」和「改一处不影响另一处」的场景。具体指标定义和数值以各家官方页面为准。
对普通用户:你不需要背这个术语,只需要感受它。重试次数就是指指令遵循率的体感翻译——一句话就能改对,说明遵循率高;要反复抽卡、每次都顺手改脸,说明低。挑工具时优先看它有没有「局部选区」这类功能,那相当于把蒙版交到你手里,比指望模型自觉要靠谱得多。
