AI 网关（AI Gateway）是架在应用和大模型服务之间的统一入口层，把模型调用绕不开的鉴权、限流、路由、计费、日志等共性能力收拢到一层。没有它，每个业务都要自己存模型密钥、适配不同厂商 SDK、重复写重试和限流逻辑，改一个模型可能动十几处代码。
可以把它想成写字楼前台。访客找哪家公司，前台先验证身份、登记来访、分配电梯权限，再按部门记电话费。AI 网关就是模型调用的前台：应用带着内部身份来，网关检查能不能调、能调哪些模型，再把请求转给合适的模型服务。
核心能力包括：
- 鉴权：统一验证调用方身份和权限，模型密钥只放在网关，降低泄露风险。
- 限流与配额：按用户、团队、应用限制并发、请求频率和 token 用量，防止一个实验把额度打满。
- 路由：按模型名、成本、延迟、可用性或灰度策略，把请求发到不同供应商或自建推理集群；主线路故障时切备用。
- 计费：统一记录调用量和 token 消耗，按团队、项目分摊成本。
- 日志与可观测：记录请求、响应、耗时、错误和 token 用量，并做敏感信息脱敏与留存控制。
它和相邻概念不同。API 网关（API Gateway）更通用，面向 REST/gRPC，通常不理解流式响应、token 计费和模型路由；模型服务或推理框架管的是模型加载、GPU 调度和批处理；AI 网关在它们前面，管流量治理。LLMOps 平台侧重实验、评测和追踪，AI 网关则在请求路径上实时拦截与转发。SDK 是客户端工具，网关是服务端统一层。
对从业者，AI 网关的价值是少写重复代码：换模型供应商时改配置而不是改业务代码，出问题能按应用、团队快速定位，成本也能算清。对普通职场人，它让公司里的 AI 功能更稳、更安全：一个团队超额不会拖垮所有人，敏感数据多一道闸门，模型切换对用户尽量无感。
落地时别一上来就追大而全，先明确要治理什么。流式输出、超时重试、幂等、密钥轮换、缓存和内容安全通常是重点；具体功能和限制以官方页面为准。