一句话定义:Ray Serve 是分布式计算框架 Ray 里的在线服务库(serving library),它让你用纯 Python 代码把多个模型、多段业务逻辑组合成一个对外提供 HTTP 接口的服务,并自带请求路由、副本自动扩缩(autoscaling)和流量切分(traffic splitting)。
它解决的是什么问题
真实 AI 产品里的“一次请求”往往不是调用一个模型:先过一遍向量检索,再跑 rerank,再喂给大模型生成,最后做敏感词过滤。这四步可能跑在不同机器、不同 GPU 上,负载还忽高忽低。手写这套编排 + 多副本 + 扩缩容,通常要拖上 Kubernetes 和一堆 YAML。
Ray Serve 的比方是餐厅前厅经理兼排班表:后厨每个档口(deployment,部署单元)负责一道工序,经理(HTTP proxy,入口代理)按菜单把客人分流到对应档口;哪个档口排队变长,就临时加人手(加副本);新菜谱上线,先只让 10% 的客人试吃(权重切分,灰度发布)。
原理要点
- 用
@serve.deployment装饰一个类或函数,它就变成可独立扩缩的部署单元;副本数、资源需求(CPU/GPU)写在装饰器里。 - 多个 deployment 用
.bind()串起来,形成有向无环图(DAG,Directed Acyclic Graph),支持串联、并联、条件分支——这就是“用 Python 组合服务”,不用写配置文件描述拓扑。 - 自动扩缩常依据请求队列长度等运行指标来调副本,而不是只看 CPU 利用率;具体指标和参数以官方文档页面为准。
- 流量切分按权重把请求分给不同版本的 application,常用于灰度、A/B 测试和回滚。
- 同一份代码可以在笔记本上单机跑,也可以提交到 Ray 集群,资源与 Ray 的训练/调参组件共享同一个集群。
和相邻概念的区别
| 对比对象 | 差别 |
|---|---|
| FastAPI / Flask | 只是 Web 框架,多副本调度、扩缩、模型编排要自己在外面搭 |
| Kubernetes 原生方案(如 KServe、Seldon) | 以容器和 YAML 声明为中心,偏运维视角;Ray Serve 以 Python 代码为中心,偏算法工程师视角 |
| Triton AI 词典:Inference">Inference Server | 偏单模型高性能推理、模型文件配置;Ray Serve 偏业务流程编排,也可以把 Triton 当成一个后端调用 |
| 直接用 Ray 的远程 actor | 那些只提供计算原语,HTTP 层、路由、副本管理、滚动更新要自己实现 |
对从业者和普通人的意义
对 AI 工程师:多模型流水线、灰度发布、弹性扩容可以从“运维工程”变成“几十行 Python”,小团队也能撑住高峰。要注意的是它是在线服务层,不是训练框架;有状态逻辑要显式设计,冷启动和副本预热值得提前规划。
对普通职场人:你在用的 AI 产品高峰期不卡,新模型上线没把全量用户一起拖下水,背后很可能就是这类服务框架在调度。
