一句话定义：推理工程（AI 词典：Inference">Inference Engineering）研究模型训练完成之后，如何把答案又快、又省、又稳地送到用户面前；它针对延迟、吞吐和单位成本做系统化设计与调优，是一门工程学科。
训练像是建工厂，推理则像每天开门营业。用户按下发送到看见第一个字，这段等待叫首 token 延迟（TTFT，Time To First Token）；之后文字连续输出的节奏，叫每 token 输出时间（TPOT，Time Per Output Token）。这两个数字决定用户感受到的反应速度，而每秒能服务多少人、每次任务花多少钱，则决定这门生意能否持续。麻烦的是，这两组目标常常互相冲突：把机器喂得越满，单位成本越低，但排队的人等得越久。
用餐厅来打比方最容易理解。厨房面积有限（GPU 的显存与算力），客人却源源不断。批处理（batching）就是把几桌客人的菜一起下锅，一次算完，效率最高；但拼桌会让后来的客人干等，于是有了连续批处理（continuous batching）：谁吃完谁走，新客人随时补位，厨房始终不空转。KV 缓存（KV Cache）相当于记下客人点过的菜，下一道不用从头再问一遍；代价是记忆会占内存，所以要设计分页、淘汰、复用的策略。路由（routing）则是门口的分诊员：一句“今天天气如何”交给小模型，“帮我逐条改这份合同”交给大模型，重复问题直接命中缓存。此外还有投机解码（speculative decoding），让一个便宜的小模型先写草稿，大模型只负责快速校对，相当于先由实习生起草，再由正式员工把关。
| 指标 | 用户视角 | 常见优化手段 |
|---|---|---|
| TTFT | 点完发送后等多久 | 提示缓存、请求路由、预填充优化 |
| TPOT | 文字输出的速度是否稳定 | 批处理规模、KV 缓存、量化 |
| 吞吐量 | 高峰期会不会排长队 | 连续批处理、并行调度 |
| 单位任务成本 | 一次对话花多少钱 | 路由到小模型、缓存命中、蒸馏 |
和相邻概念的区别也值得说明。训练（training）追求一次性把模型能力上限做高；推理工程追求的是这种能力能否被可持续地交付。模型部署（deployment）是把模型跑起来，推理工程是让它跑得快、跑得便宜、跑得稳。MLOps 更偏流程与运维，而推理工程紧盯请求路径上的算力经济核算。
对从业者来说，当模型能力逐渐趋同，成本和延迟就成了产品真正的竞争壁垒：很多功能能否成立，不在于“模型会不会做”，而在于“每次调用贵不贵、快不快”。对普通人来说，为什么有的 AI 助手秒回，有的却一直转圈，往往不是模型笨，而是推理工程没做到位；按 token 计费、免费额度、高峰期降级，背后都是这套权衡。具体价格与限额以官方页面为准。