一句话定义：边缘 AI（Edge AI）是把训练好的模型部署到离数据产生地最近的设备上——手机、摄像头、汽车、门店服务器、工厂网关——在本地完成推理，而不是把原始数据传回云端机房。
它是怎么跑起来的
模型依然在云端用海量数据训练，训练完之后做几步“瘦身”：剪枝去掉不重要的连接，量化把高精度数值换成低精度数值，蒸馏让小模型模仿大模型。处理完的模型会被编译成特定芯片能执行的格式，烧进设备固件或随 App 下发，开机就能用，不联网也能跑。
打个比方：云端 AI 像中央厨房，菜做好再配送；边缘 AI 是每家厨房里都放了一台微波炉，半成品早就备好了，按下按钮就能加热。代价是微波炉做不了满汉全席——模型必须小，能力上要做取舍。
为什么非塞进去不可
- 延迟：人脸解锁、避障刹车、产线质检，等一次网络往返就太晚了，而且网络抖动无法预期。
- 带宽与成本：一路高清视频全天上传，流量、存储、电费都是实打实的开销；让摄像头自己判断“画面里有没有人”，只回传有事件的片段。
- 隐私：人脸、声音、病历留在设备里，合规风险小得多。
- 可用性：隧道、飞机、偏远工地、断网的仓库，照样工作。
- 常驻功耗：语音唤醒词检测要一直开着，如果每次都上传音频，电池撑不住。
代价与常见折中
设备的算力、内存、功耗、散热都受限；硬件型号碎片化，适配和调试很麻烦；模型升级要推固件或 App 版本，不像服务端那样一键生效。所以工程上多是“云边协同”：边缘做实时初筛和兜底，云端做重计算、长期存储和模型迭代。
和几个近义词的关系
- 端侧 AI（on-device AI）常和边缘 AI 混用，但边缘的范围更宽：基站、门店服务器、工厂网关都算边缘，不只是你手里的设备。
- 联邦学习（AI 词典：Federated Learning">Federated Learning）讲的是“怎么训练”，边缘 AI 讲的是“在哪推理”，两者可以搭配但并非一回事。
| 云端 AI | 边缘 AI | |
|---|---|---|
| 数据流向 | 原始数据上传 | 数据留在本地，只回传结果 |
| 延迟 | 受网络影响 | 稳定且低 |
| 断网 | 不可用 | 通常仍可用 |
| 模型规模 | 大 | 受设备限制，需压缩 |
| 更新方式 | 服务端即时生效 | 推固件或 App，周期长 |
| 成本结构 | 服务器与带宽 | 设备硬件与适配研发 |
对普通人和从业者的意义
对从业者来说，模型压缩量化、算子与芯片适配（NPU、DSP）、功耗预算，从“加分项”变成硬技能；做产品时，第一个问题也变成了“断网了这功能还能不能用”。
对普通人来说，相册里的人脸聚类、离线语音输入、汽车的行人检测、门铃摄像头的“有人经过”，都是边缘 AI 在你看不见的地方默默运行。具体哪些功能在本地跑、支持到什么程度，以各设备的官方页面为准。