一句话定义：模型服务是把训练好的模型包装成稳定、可扩缩、可监控的在线接口，让别的系统能持续调用它的那套工程。
打个比方：训练模型像在家炒一盘菜，自己吃，火候差点、慢一点都无所谓；模型服务是开一家全天候出餐的餐厅——要有厨房动线、备菜流程、几口锅同时开工、有人盯着排队长度随时加人手、某口锅坏了立刻能换。菜谱（模型权重）早就写好了，真正难的是让它每天中午十二点同时接五百单还不崩。
展开讲，模型服务要处理一堆 demo 里根本遇不到的事：
- 推理运行时（inference runtime）：用什么引擎跑。同一个模型，直接加载和用专门的推理引擎跑，吞吐可能差出好几倍，具体以官方页面为准。
- 动态批处理（dynamic batching）：把几乎同时到达的请求攒成一批一起算，GPU 才不会为等一个请求而空转。
- 显存与缓存：大模型推理的 AI 词典：KV Cache">KV Cache 吃掉大量显存，怎么调度显存直接决定能同时服务多少人。
- 扩缩容（autoscaling）：按 QPS、排队时长或 GPU 利用率自动加减副本；冷启动慢的模型还得预热。
- 灰度与回滚：新模型先放一小部分流量，指标不对就切回去。
- 可观测性（observability）：延迟分位数、错误率、token 吞吐、限流与降级策略。
| 维度 | 跑个 demo | 模型服务 |
|---|---|---|
| 目标 | 证明模型能跑通 | 稳定可用、成本可控 |
| 请求形态 | 一次一个 | 高并发、有尖峰 |
| 失败处理 | 报错就重跑 | 重试、超时、熔断、降级 |
| 变更 | 改代码重启 | 灰度、A/B、可回滚 |
| 观测 | 指标、日志、追踪、告警 |
和相邻概念的区别：训练（training）产出权重，推理（inference）是单次前向计算，模型服务是把推理装进工程体系里长期运行；部署（deployment）偏"把模型放上去"这个动作，模型服务更强调放上去之后持续扛流量。MLOps 范围更大，模型服务是其中在线的那一环。
实际意义：对从业者，模型效果决定上限，服务能力决定它能不能真被人用上——很多"上线后效果变差"其实是工程问题：请求超时被截断、批处理拖慢首字延迟、限流把请求挡在门外。对普通职场人，你用的每个 AI 功能背后都有一层这样的服务，它决定了回答快不快、高峰期会不会一直转圈、出问题时是给你明确报错还是悄悄降级。