跳到主内容
快讯直播
AI智模界
AI 词典

图像编辑的指令遵循率:改图模型到底听不听话

一句话定义:图像编辑的指令遵循率(instruction following rate),指在一批改图任务中,模型「只改了你让它改的地方、其余部分原封不动」的次数占比。

它其实在问两件事

这个词看着像单一指标,实际是两件事的合体:

1. 改对了吗——你说「把外套换成红色」,外套真的红了;

2. 没让它改的地方保住了吗——脸还是那张脸,背景还是那个背景。

两件事都成立才算「遵循」。「外套红了但人也整容了」「人物没变但背景从咖啡馆变成雪山」,都会使这项指标下降。所以它本质上是衡量生成模型局部可控性的指标,而不是图像质量的指标。

打个比方:装修师傅

你请师傅「把这面墙刷成绿色」。他刷了墙,这算过关;但他顺手把你的沙发换了色、把墙上的画挪了位置、还给你换了张脸,那这活就不能验收。理想的图像编辑应该像 Photoshop 里的图层蒙版(mask):蒙版内随便改,蒙版外一个像素都别动。问题在于,现在的扩散模型(diffusion model)做的是「整张图重新画一遍」,而不是「在原图上抠一块改」。只要整图重绘,就有身份漂移(identity drift)和背景漂移的风险,这也是指令遵循率天然不高的原因。

常见缓解手段包括局部重绘掩码(inpainting)、参考图与身份保持(identity preservation)、以及更强的指令解析——但都是缓解,不是消除。

和相邻概念的区别

概念它问的问题举例
指令遵循率该改的改了吗?不该改的动了吗?只换衣服,脸和背景不变
图像质量与美观度这张图好看吗、清晰吗?生成的人物皮肤纹理真实
编辑成功率这次编辑达到目标了吗?衣服确实变红了
可控性(controllability)模型能不能被精确指挥?一种能力
指令遵循率上面这项能力的量化指标一个数字

顺带一提,它和文本大模型的 instruction following 不是一回事。文本只问「你按我说的写了吗」;图像还要额外问「你没动别的地方吧」,多了一个「保真」的维度。

对从业者和普通人的意义

对做产品的人:别用单张精修 demo 判断模型好坏,那是最容易挑出来的一张。要做成对评测——一条指令一个样本,同时看修改区域正确率和非修改区域的一致性(常用像素差异、结构相似度一类指标衡量),并且专门测「多条指令叠加」和「改一处不影响另一处」的场景。具体指标定义和数值以各家官方页面为准。

对普通用户:你不需要背这个术语,只需要感受它。重试次数就是指指令遵循率的体感翻译——一句话就能改对,说明遵循率高;要反复抽卡、每次都顺手改脸,说明低。挑工具时优先看它有没有「局部选区」这类功能,那相当于把蒙版交到你手里,比指望模型自觉要靠谱得多。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。