一句话定义:黄金指标(Golden Signals)是 Google SRE 实践中总结出的四类监控信号——延迟(Latency)、流量(Traffic)、错误(Errors)、饱和度(Saturation)。它不追求指标齐全,而是用最少的几个数回答一个问题:这个服务此刻健康吗?
打个比方,把服务当成一家餐厅。延迟是上菜速度,流量是同时进店的客人,错误是退菜和投诉,饱和度是后厨还剩多少灶台。四样凑在一起,基本能判断今晚要不要叫增援。这套方法的好处是通用:换成电商、支付、模型推理,四个格子都能填。
它容易和几个邻居混淆。SLI/SLO(Service Level Indicator / Objective)是“承诺”——对外保证的服务水平;黄金指标是“仪表”,用来发现和定位问题。业务 KPI 关心赚不赚钱,黄金指标关心跑不跑得动。RED 方法(Rate、Errors、Duration)适合请求-响应型 API,USE 方法(Utilization、Saturation、Errors)适合看资源,黄金指标可以看作两者的折中覆盖。
搬到 LLM 服务上,前两个信号基本能沿用,后两个必须重写。
延迟要拆开看。 传统服务的延迟是一个数;对话式服务至少有两段:首字延迟(Time To First AI 词典:Token">Token, TTFT)和每输出 token 耗时(Time Per Output Token, TPOT)。用户等不到第一个字就会走,但只看总时长会把这两种糟糕体验混为一谈。
流量要换单位。 每秒请求数(QPS)在 LLM 场景会骗人:十个短请求和十个长上下文请求,资源开销差着数量级。更有意义的做法是看输入/输出 token 吞吐量,以及上下文长度的分布。
错误要分硬软。 HTTP 200 不等于答对了。硬错误是超时、限流、5xx;软错误是返回了但没法用——JSON 解析失败、工具调用参数错、被安全策略误拦、上下文被截断、答非所问。软错误率往往才是 LLM 产品体验的真实水位,需要靠规则校验或抽样评估来统计。
饱和度要看显存。 CPU 服务先撞墙的通常是负载,而 GPU 推理先撞墙的是显存,尤其是 KV Cache(Key-Value Cache)占用——它随并发数和上下文长度一起涨,反复变化、难以预测。队列长度、批处理排队时间、显存使用率这几项,比单纯看 GPU 利用率更有预警价值。而且排队时间一旦越过拐点,延迟会突然恶化,并非线性上升。
| 信号 | 传统 Web 服务 | LLM 服务 |
|---|---|---|
| 延迟 | 平均响应时间 | TTFT + TPOT + 排队时间 |
| 流量 | QPS、并发数 | token 吞吐、上下文长度分布 |
| 错误 | 5xx、超时率 | 硬错误 + 软错误(格式、拦截、质量) |
| 饱和度 | CPU、内存、连接数 | 显存、KV Cache、批处理队列 |
对从业者,这意味着告警面板要重做:只盯 QPS 和 5xx,会漏掉最伤体验的那部分故障。对普通职场人,这四个格子也是评估一个 AI 产品好不好用的现成框架——首字快不快、高峰顶不顶得住、答废和误拒多不多、忙的时候会不会明显变慢变笨。
