一句话定义:性能工厂(Performance Factory)是一套常驻的、流水线化的性能工程体系。它不等到模型上线后才看表现,而是在模型与产品发布的每个环节之前,就自动完成压测、剖析(Profiling)和性能回归(Regression)验证。
它解决什么问题
打个比方:传统做法像装修完住进去,才发现水压不够、下水返味;性能工厂则像汽车出厂前的整车测试线。每台车下线都要过台架、跑标准路况,不同车型走同一条线,不合格的直接拦在厂里,而不是等用户开上高速才发现刹车软。
这条“产线”通常有三个工位:
- 压测(Load Testing):模拟真实流量的形状,包括并发数、输入长度分布、批处理大小、突发峰值,而不是只跑一个漂亮的单项分值。
- 剖析(Profiling):把耗时拆到算子、显存带宽、通信开销这一层,回答“到底为什么慢”,而不只是“慢了”。
- 性能回归(Performance Regression):把上一版的性能曲线存成基线,新版本自动对比,变慢就报警、就阻断合并。
和相邻概念的区别
| 概念 | 关注点 | 时机 |
|---|---|---|
| 性能测试 | 单次测出结果 | 阶段性、一次性 |
| 基准跑分(Benchmark) | 一个可比的分数 | 选型、对外披露 |
| APM 与线上监控 | 真实用户侧表现 | 发布之后 |
| 混沌工程 | 注入故障看韧性 | 发布前后均可 |
| 性能工厂 | 可持续复现的性能曲线 | 发布之前,且常态化 |
简单说:性能测试是动作,性能工厂是体系;跑分给的是分数,性能工厂给的是账单——在真实负载下,时延、吞吐、单位成本各是多少。
对从业者的意义
超大规模推理的性能问题往往是系统性的:GPU 利用率、AI 词典:KV Cache">KV Cache 管理、批调度策略、网络带宽彼此耦合,改一行调度逻辑可能全局受影响。靠人肉复测扛不住模型和产品的迭代节奏,所以必须把它变成一条自动跑、有基线、能拦截的流水线。对产品和业务同学来说,它的价值是把“上线后才发现的慢”变成“发布前就清楚的账”,性能从事故变成可提前排期的工程项。
各家在工具链和指标口径上差异很大,具体以官方页面为准。
