一句话定义：算子回退到 CPU（Operator Fallback），指推理框架在执行模型时，把本该跑在 GPU、NPU 等加速器上的某个算子（operator），临时交给 CPU 来完成。它不是报错，而是一种“悄悄降级”的兜底行为，也是推理性能最隐蔽的杀手之一。
原理：一个工位不会做，整条流水线停下来
神经网络在底层被拆成一张计算图，图上的节点就是算子：矩阵乘、卷积、归一化（AI 词典：LayerNorm">LayerNorm）、Softmax、旋转位置编码（RoPE）等。加速器要执行算子，需要厂商算子库里存在对应的、编译好的内核（kernel）。
问题在于，算子库不可能覆盖一切。新出的算子、奇怪的张量形状、低精度或自定义量化格式、带动态控制流的逻辑，都可能“查无此核”。这时框架不会让整个任务失败，而是走兜底路径：把输入数据从显存拷回内存，用 CPU 算完，再把结果拷回显存。
这就像一条高速流水线，某个工位只有老师傅（CPU）会做。产品得被搬下传送带、送进隔壁车间、做完再搬回来。真正花在“做”上的时间可能只有几毫秒，但搬运、排队、等待整条线重新对齐的代价极大：显存与内存之间的数据搬运本就慢，而回退还常常打断流水线并行、引入强制同步，让加速器空转。
关键在于不对称：回退的算子可能只占全部计算量的千分之一，却能让整段推理慢上几十甚至上百倍。因为瓶颈不是算力，而是数据来回搬和流水线断裂。
和相邻概念的区别
| 概念 | 触发方式 | 影响范围 | 性能表现 |
|---|---|---|---|
| 算子回退到 CPU | 隐式，框架自动兜底 | 单个或少数算子 | 局部极慢，可能拖垮整体 |
| 纯 CPU 推理 | 显式部署选择 | 整个模型 | 整体慢，但可预期、可规划 |
| 人工图切分／混合执行 | 显式设计 | 按模块划分 | 通常可控，甚至带来收益 |
| 算子融合（operator fusion） | 优化手段 | 多个算子合并 | 减少访存，提速 |
一句话：回退是“没得选”，混合执行是“主动选”；回退是优化的反面，融合是优化的正面。它也常被误认为“硬件不行”——其实同一张卡换个模型、换个框架版本，速度天差地别，往往就是回退在作祟。
对从业者和普通人的意义
对做推理部署的人：遇到“GPU 利用率上不去、延迟却很高”的情况，第一步是看时间线里有没有 CPU 计算段和频繁的数据拷贝；多数框架提供回退告警或日志开关，具体开启方式以官方文档为准。常见解法包括：用等价算子组合替换、固定输入形状避免走到冷门分支、调整精度或量化方案、升级算子库，或者干脆自己写自定义算子（custom op）。
对普通职场人：同一款模型在不同设备上体验差距明显，未必是芯片强弱，也可能是某个小算子没被支持。评估硬件方案时，别只看峰值算力，要问一句——这个模型的算子，它真的都能接住吗？