跳到主内容
快讯直播
AI智模界
AI 词典

共形预测:给模型预测套一层统计保证

共形预测(Conformal Prediction)是一层套在任意模型外面的“包装”:它把模型吐出的单个答案,换成一组候选答案,并保证这组答案在长期运行中有事先约定的比例能覆盖真值——比如约定 90%,就对应 90% 的样本,真值会落在它给出的集合里。

它怎么做到的

核心概念叫“非一致性分数”(nonconformity score):给一个样本和一个候选答案,算一个“这个答案有多不像话”的分数。分类任务里可以是真实类别的预测概率有多低;回归任务里可以直接用预测值与真实值的绝对差。

流程只有三步:

1. 留出校准集:从数据里切一批模型没见过的样本,跑一遍,为每个样本算出它的非一致性分数。

2. 定分数线:把这些分数排序,取对应分位数(再做一点有限样本修正),得到一条阈值。

3. 出预测集合:来了新样本,把所有“分数低于这条线”的候选答案全部收进集合,一起交出去。

打个比方:一个实习生给你报成交价。你先让他估价 100 单,记录每单他报的数跟实际值差多少,把差值从小到大排好,取第 90 个差值。之后他再报价,你就给出“他报的数 ± 这个差值”的区间。只要新单子和之前那些单子地位平等,这个区间大致就有 90% 的概率套住真实成交价。

这正是它最反直觉也最有用的地方:它不要求你知道数据分布,也不要求模型是哪种类型,只要求样本之间“可交换”(exchangeability)——粗略说就是顺序无关、没有系统性漂移。

和相邻概念的区别

很多人会把它跟模型自带的概率输出搞混。softmax 给出的 0.95 既不代表“95% 会答对”,也不随模型更换自动调整,它只是一个相对得分。贝叶斯方法能给出后验区间,但要你先写好先验和似然。经典统计的置信区间有覆盖保证,但通常依赖分布假设。

对比项共形预测模型自带概率经典置信区间
输出形态带覆盖保证的预测集合/区间一个分数,通常未校准参数化区间
前提假设基本只要求可交换性无,但不可靠常要求分布形式
有限样本保证有无依赖假设
能否套在任意模型上可以,模型无关——

对实际工作的意义

在医疗、金融风控、工业质检这类“错一次代价很高”的场景,可以把模型输出从“一个答案”改成“候选集合”,交给下游人工或规则系统处理。覆盖率还是一个可调的旋钮:要 99% 就把集合放宽,要省事就调低。对做产品的人而言,这等于可以拿覆盖率当 SLA 来谈,而不是含糊地盯准确率。

两点提醒:它保的是平均意义下的边际覆盖,不对每个子群体单独承诺,难样本上集合可能大到把全部标签都塞进去——覆盖率保住了,信息量也没了;另外模型越差集合越大,共形预测不提升模型,只是给模型的诚实度上一把锁。各类开源库都有现成实现,具体接口和参数以官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。