一句话定义:持续编译(Continual Compilation)是把模型推理的编译优化从"上线前做一次"改成"当成常驻服务一直做"——随着模型权重、上下文长度、流量结构的变化,系统自动重新生成并替换更合适的底层算子(kernel)。
编译器的活儿,是把人类写的高层模型图翻译成机器跑得快的底层代码。传统做法是离线、静态的(AOT,Ahead-of-Time):模型训练完导出,跑一次编译,得到一份优化好的产物,然后部署上线。问题在于,这份产物是"当时那一刻"的快照:它默认输入形状固定、批大小固定、模型此后再也不变。
打个比方:这是一次性装修。交付前请施工队来做一遍硬装,之后家里添了人、换了家具,格局不合适也只能忍着。持续编译更像常驻物业:家里每有变化,就重新量一遍尺寸、调一遍布局。
Together Compiler 走的是后一条路:推理服务在真实流量里持续观察请求的形状分布(提示词长短、并发批大小、生成长度),把"编译"本身变成线上服务的一部分——重新编译、影子验证、灰度替换,出问题能回滚。
和相邻概念的区别:
| 触发方式 | 作用范围 | 面对变化 | |
|---|---|---|---|
| AI 词典:torch.compile">torch.compile | 进程内守卫(guard)失效 | 单机、单进程 | 被动重编,缓存只在本进程有效 |
| TensorRT | 人工离线构建引擎 | 单模型、单硬件配置 | 改模型或换卡就要重建、重部署 |
| 持续编译 | 线上流量反馈自动触发 | 服务级、跨实例持续 | 主动跟随 |
一句话概括差别:torch.compile 优化的是"开发时的一次运行",TensorRT 优化的是"一个交付物",持续编译优化的是"一条会自我调整的流水线"。
对从业者的实际意义:性能不再是发版前调出来的一组静态参数,而是运行期持续收敛的过程;这件事开始和灰度发布、SLO、回滚这些工程能力耦合在一起,编译器的产出要像服务一样被监控。对普通人来说,这意味着同一个模型,白天高峰期和深夜、短问答和长文档,背后跑的可能是不同的底层代码——那种"快",更接近持续维护出来的,并非一次调优的结果。具体支持范围与行为以官方文档为准。
