一句话定义:推理平台供应链泄露(AI 词典:Inference">Inference Platform Supply-Chain Breach)指在托管式推理服务里,出问题的不是你自己写的应用代码,而是平台共用的模型权重、容器镜像、第三方依赖、缓存、日志和密钥链路,它们把一家客户的数据或凭证串到了另一家客户那里。
用共享公寓来理解。 自建推理就像独栋别墅,门锁、水管、电表都是你自己的。用托管推理平台则像合租公寓:客厅、厨房、水管、电表箱共用,各家只有一间带锁的卧室。共享推理平台也一样,为了把 GPU 利用率提高,平台会做连续批处理(continuous batching),把多个租户的请求放进同一个批次;会复用 KV cache 来省显存;会用同一个基础模型,再挂上不同客户的 LoRA adapter;会把请求日志、trace 写进同一个可观测性系统。这些做法本身都是正常且必要的优化,但每多一项共享,就多了一条可能的“越界访问路径”。
事件引子。 围绕 Fireworks AI 的相关安全争议,讨论焦点从来不是“模型答错了”,而是托管平台如何在共享基础设施上证明租户隔离(tenant isolation)成立。需要说明的是,具体细节与影响范围以厂商官方公告和安全披露为准,本词条只讨论通用机制。
几种常见越界路径(不针对特定厂商):KV cache 或前缀缓存(prefix cache)复用没有按租户打标签,A 的前缀被 B 命中;日志和对象存储桶共用,路径拼接不当,越权读取他人的 prompt 和输出;模型仓库或自研算子仓库的凭据权限过大,一个被污染的依赖包能读到所有租户的推理流量;临时文件和模型缓存在删除后仍残留,下一次部署时会继承下来。
和相邻概念的区别
| 概念 | 出问题的位置 | 典型表现 |
|---|---|---|
| 推理平台供应链泄露 | 平台共享层 | 客户 A 的密钥或数据出现在客户 B 的会话里 |
| 模型投毒(model poisoning) | 训练数据与权重 | 模型行为被系统性带偏 |
| 提示注入(prompt injection) | 应用输入输出 | 攻击者让模型违背指令做别的事 |
| 多租户逃逸 | 隔离机制本身 | 绕过沙箱或容器边界直接拿到宿主权限 |
前者关注“串”,后三者关注“改”“骗”“穿”。
租户隔离审计应该看哪些点:一是身份与密钥作用域,每个租户的 token 能否被收窄到具体模型、具体路由;二是缓存边界,KV cache、前缀缓存、结果缓存是否带租户标签,命中率指标能否按租户拆开;三是批处理是否真正做到请求级隔离;四是模型与适配器的加载权限、镜像与依赖是否可追溯(SBOM);五是日志、trace、评测样本的存储路径与保留策略;六是数据删除后是否真的不残留;七是平台自身是否提供可审计的访问记录,以及第三方渗透测试报告。
对从业者的意义:选托管推理平台时,“跑分高不高”通常不是首要问题,更该问的是“出了事我怎么举证”。在合同与安全白皮书中明确隔离承诺与通知义务,比事后追责更有效。对普通职场人而言,道理也很朴素:把公司数据交给共享服务之前,先确认它的“卧室门”是不是真的锁得上,以及有没有人能证明这一点。
