跳到主内容
快讯直播
AI智模界
AI 词典

KServe:把模型变成 K8s 里的标准服务

一句话定义:KServe 是一个运行在 Kubernetes 上的模型推理服务框架,它用一套标准协议描述“如何调用模型”,用一套自定义资源描述“模型如何部署、扩缩和切流量”,把这件原本需要手写一堆 YAML 和脚本的事变成声明式配置。

展开讲原理:把模型想象成一位厨师。你有几十位厨师(模型),要开一家餐厅对外营业,问题不在于菜好不好吃,而在于:客人来了怎么下单(接口协议)、客人多时怎么临时加灶台(扩容)、凌晨没人时怎么关灯省电(缩容到零)、新菜推出前怎么先给一小部分客人试吃(金丝雀发布)、厨师请假时怎么让替补顶上(健康检查与重启)。Kubernetes 原生只负责“让容器一直活着”,它不懂模型加载慢、不懂请求排队、也不懂按推理请求数而不是 CPU 使用率来扩缩。

KServe 的做法是引入 InferenceService 这类自定义资源(CRD):你写一段声明,说明用哪个模型格式、多少副本、要不要缩到零,控制器就会帮你拼出底层 Deployment、Service、路由和伸缩策略。它内置了对常见模型格式的服务端支持(如 TensorFlow、PyTorch、ONNX、Triton、Hugging Face 等),这些运行时通过 ServingRuntime 声明,业务方不必关心底层用的是哪个推理引擎。

它另一个常被低估的贡献是协议。传统的 V1 协议加上后来被业界广泛采用的 V2 推理协议(Open AI 词典:Inference">Inference Protocol),统一了请求体格式:模型名、输入张量、输出张量都按同一套结构组织。好处非常实际——同一个客户端代码,换一个模型、换一个推理引擎,调用方式几乎不变。

对比项原生 Deployment + Service推理服务器(Triton、vLLM 等)KServe
关注点容器是否存活单机内的模型执行与批处理服务层的编排与治理
伸缩依据CPU / 内存基本不管请求并发,可缩容到零
协议自定义各自提供统一的 V1/V2 协议
流量切分需自行实现不涉及原生支持按比例灰度

和相邻概念的区别:KServe 不是推理引擎,它不负责矩阵乘法。Triton、vLLM 这类是“发动机”,KServe 是“底盘和变速箱”。它也不等同于 Kubeflow 整套平台——KServe 最早是 Kubeflow 里的 KFServing 组件,后来独立演进并捐给了 CNCF 基金会(具体孵化阶段以官方页面为准)。与 Knative 的关系则更偏底层:KServe 借助请求驱动的伸缩能力实现缩容到零,在不需要 serverless 行为的场景也可以走普通 Deployment 模式用 HPA 扩缩容。

实际意义:对 AI 工程师,KServe 意味着上线一个模型不用再写一套定制部署脚本,“模型文件 + 一份 YAML”就能得到可灰度、可扩缩、可观测的推理端点。对普通职场人,它的价值在于技术栈收敛——当公司内所有模型服务遵循同一套协议和部署规范,监控、网关、权限、计费这些周边系统只需要对接一次,新模型上线的周期从周级压到小时级。这也是为什么很多企业的模型服务平台在选型时,会把“是否兼容 KServe 协议”写进验收条件。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。