一句话定义:运行时控制覆盖率(Runtime Control Coverage)衡量的是:智能体在真实运行中本应被约束的动作里,控制面实际拦截或改写了多少,所占的比例。它测量的是“跑起来之后真拦住了什么”,看你在配置文件里写了多少条护栏。
打个比方:小区的安防清单写着刷卡进门、电梯梯控、访客登记、夜间巡逻。但真正决定安全的,是每次有人进出时这些措施有没有启动——门禁是不是常开,访客登记本是不是空白。清单是设计,覆盖率是实测。两者之间的差距,就是事故的入口。
怎么测:分三步。
1. 定分母:从权限模型和业务策略出发,枚举“该拦”的高危动作,比如读取敏感文件、调用支付或外呼接口、写入生产库、执行 shell、把内部数据发往外部域名。
2. 埋点记录:在运行时对每一次动作尝试打点,记下处置结果——放行、拦截、改写参数、转人工审批。关键是记录“尝试”,不只记录“被拦下的”;没被拦下的尝试才是风险所在。
3. 对照算比例:覆盖率 = 被正确处置的高危动作次数 ÷ 全部高危动作尝试次数。再叠一层主动探测:定期注入故意违规的请求(红队探针),看控制面是否响应——这叫变异测试思路,guardscope 一类工具就是用“运行时到底拦住了哪些动作”来量化智能体的控制面。
和相邻概念的区别:
| 指标 | 回答的问题 | 盲区 |
|---|---|---|
| 护栏条数/策略数量 | 我们配了多少规则? | 不知道有没有生效 |
| 代码测试覆盖率 | 多少代码被执行过? | 与运行时策略无关 |
| 单条规则拦截准确率 | 触发时拦得准不准? | 没触发的场景看不到 |
| 运行时控制覆盖率 | 该拦的动作真被拦了多少? | 依赖“该拦”集合定义得全不全 |
对从业者的意义:它把安全从“清单验收”变成“行为验收”。评审会上更有说服力的问题是“上周有多少次越权写库被拦下”,而非“我们上了多少条护栏”。它还能定位“纸面有、实际空”的缺口:规则写了但没挂到这条调用链上,或者挂在日志模式(只记不拦)里。
局限也需说清:分母是人定义的,覆盖率满分只说明“想到的都拦住了”,想不到的动作压根不在分母里。所以它要和威胁建模、红队演练配合使用,具体工具能力以官方页面为准。对普通人来说,这个指标给了一个提问的抓手:与其问“你们装了什么防护”,不如问“你们拦下过什么”。
