一句话定义:预置吞吐(Provisioned Throughput)就是按时间买断一份固定的模型推理容量——通常按小时或按月付费,用不用都照付,换来的是可预期的速度和稳定性。
原理,打个比方:默认的按量付费(pay-as-you-go,常按 token 结算)像打车,一次一结,便宜灵活,但下雨天可能叫不到车。预置吞吐像给团队包下一辆班车:这条车道归你,别人挤不进来,发车时间可预期,代价是空跑也照样付钱。你买的不是"多少 token",而是"每秒能处理多少 token"这个容量(吞吐量,throughput),所以负载低的时候,那份容量就在白白闲置。
和相邻概念的区别:
- 按 token 现付:按实际用量结算,闲置几乎零成本,但高峰期可能被限流、延迟抖动。
- 批处理(batch):用等待换便宜,时效性差,和预置追求低延迟正好相反。
- 速率限制(rate limit)/配额:说的是"你不许超过多少";预置承诺的是"你至少有多少",方向相反。
- 自动扩缩容:解决弹性,但不预留、不承诺。
| 维度 | 按 token 现付 | 预置吞吐 |
|---|---|---|
| 计费依据 | 实际用量 | 预留容量 × 时长 |
| 闲置成本 | 几乎为零 | 全额照付 |
| 高峰期表现 | 可能排队、抖动 | 相对可控 |
| 适合负载 | 低频、突发、试水 | 稳定高负载、延迟敏感 |
什么时候真的划算:只看一条——预置的容量在一个计费周期里被用得够不够满。如果按量账单在大部分时段都稳定压着某个水平,峰值又经常撞上限流或延迟变差,那预置通常更省心也更省钱;如果流量是白天高、夜里归零,或者只在活动期爆发,利用率上不去,买预置就是替空闲时间买单。还要留意预置往往带承诺期,业务下滑时退出成本不低。
实际意义:这本质是一道容量规划题,和当年"自己买服务器"还是"租云主机"是同一种取舍。做决定前看三件事:峰均比、延迟是否影响体验、增长是否可预测。各家最小购买单位、能否叠加、能否临时扩容的规则不同,以官方页面为准。对普通职场人来说,知道某个功能是"包月买断"的,就能理解为什么闲时也不关、为什么临时换更大模型试水没那么随意。
