跳到主内容
快讯直播
AI智模界
AI 词典

运行时控制覆盖率:护栏清单长,不等于真防护

一句话定义:运行时控制覆盖率(Runtime Control Coverage)衡量的是:智能体在真实运行中本应被约束的动作里,控制面实际拦截或改写了多少,所占的比例。它测量的是“跑起来之后真拦住了什么”,看你在配置文件里写了多少条护栏。

打个比方:小区的安防清单写着刷卡进门、电梯梯控、访客登记、夜间巡逻。但真正决定安全的,是每次有人进出时这些措施有没有启动——门禁是不是常开,访客登记本是不是空白。清单是设计,覆盖率是实测。两者之间的差距,就是事故的入口。

怎么测:分三步。

1. 定分母:从权限模型和业务策略出发,枚举“该拦”的高危动作,比如读取敏感文件、调用支付或外呼接口、写入生产库、执行 shell、把内部数据发往外部域名。

2. 埋点记录:在运行时对每一次动作尝试打点,记下处置结果——放行、拦截、改写参数、转人工审批。关键是记录“尝试”,不只记录“被拦下的”;没被拦下的尝试才是风险所在。

3. 对照算比例:覆盖率 = 被正确处置的高危动作次数 ÷ 全部高危动作尝试次数。再叠一层主动探测:定期注入故意违规的请求(红队探针),看控制面是否响应——这叫变异测试思路,guardscope 一类工具就是用“运行时到底拦住了哪些动作”来量化智能体的控制面。

和相邻概念的区别:

指标回答的问题盲区
护栏条数/策略数量我们配了多少规则?不知道有没有生效
代码测试覆盖率多少代码被执行过?与运行时策略无关
单条规则拦截准确率触发时拦得准不准?没触发的场景看不到
运行时控制覆盖率该拦的动作真被拦了多少?依赖“该拦”集合定义得全不全

对从业者的意义:它把安全从“清单验收”变成“行为验收”。评审会上更有说服力的问题是“上周有多少次越权写库被拦下”,而非“我们上了多少条护栏”。它还能定位“纸面有、实际空”的缺口:规则写了但没挂到这条调用链上,或者挂在日志模式(只记不拦)里。

局限也需说清:分母是人定义的,覆盖率满分只说明“想到的都拦住了”,想不到的动作压根不在分母里。所以它要和威胁建模、红队演练配合使用,具体工具能力以官方页面为准。对普通人来说,这个指标给了一个提问的抓手:与其问“你们装了什么防护”,不如问“你们拦下过什么”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。