跳到主内容
快讯直播
AI智模界
AI 词典

Ray Serve:用 Python 把多个模型拼成一个服务

一句话定义:Ray Serve 是分布式计算框架 Ray 里的在线服务库(serving library),它让你用纯 Python 代码把多个模型、多段业务逻辑组合成一个对外提供 HTTP 接口的服务,并自带请求路由、副本自动扩缩(autoscaling)和流量切分(traffic splitting)。

它解决的是什么问题

真实 AI 产品里的“一次请求”往往不是调用一个模型:先过一遍向量检索,再跑 rerank,再喂给大模型生成,最后做敏感词过滤。这四步可能跑在不同机器、不同 GPU 上,负载还忽高忽低。手写这套编排 + 多副本 + 扩缩容,通常要拖上 Kubernetes 和一堆 YAML。

Ray Serve 的比方是餐厅前厅经理兼排班表:后厨每个档口(deployment,部署单元)负责一道工序,经理(HTTP proxy,入口代理)按菜单把客人分流到对应档口;哪个档口排队变长,就临时加人手(加副本);新菜谱上线,先只让 10% 的客人试吃(权重切分,灰度发布)。

原理要点

  • 用 @serve.deployment 装饰一个类或函数,它就变成可独立扩缩的部署单元;副本数、资源需求(CPU/GPU)写在装饰器里。
  • 多个 deployment 用 .bind() 串起来,形成有向无环图(DAG,Directed Acyclic Graph),支持串联、并联、条件分支——这就是“用 Python 组合服务”,不用写配置文件描述拓扑。
  • 自动扩缩常依据请求队列长度等运行指标来调副本,而不是只看 CPU 利用率;具体指标和参数以官方文档页面为准。
  • 流量切分按权重把请求分给不同版本的 application,常用于灰度、A/B 测试和回滚。
  • 同一份代码可以在笔记本上单机跑,也可以提交到 Ray 集群,资源与 Ray 的训练/调参组件共享同一个集群。

和相邻概念的区别

对比对象差别
FastAPI / Flask只是 Web 框架,多副本调度、扩缩、模型编排要自己在外面搭
Kubernetes 原生方案(如 KServe、Seldon)以容器和 YAML 声明为中心,偏运维视角;Ray Serve 以 Python 代码为中心,偏算法工程师视角
Triton AI 词典:Inference">Inference Server偏单模型高性能推理、模型文件配置;Ray Serve 偏业务流程编排,也可以把 Triton 当成一个后端调用
直接用 Ray 的远程 actor那些只提供计算原语,HTTP 层、路由、副本管理、滚动更新要自己实现

对从业者和普通人的意义

对 AI 工程师:多模型流水线、灰度发布、弹性扩容可以从“运维工程”变成“几十行 Python”,小团队也能撑住高峰。要注意的是它是在线服务层,不是训练框架;有状态逻辑要显式设计,冷启动和副本预热值得提前规划。

对普通职场人:你在用的 AI 产品高峰期不卡,新模型上线没把全量用户一起拖下水,背后很可能就是这类服务框架在调度。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。