一句话定义：端侧前沿模型（Frontier Model on Device）指的是能力接近当期最强云端模型、但能直接在你的笔记本或工作站上离线运行的大模型。
"前沿"（Frontier）原本是云端专属的形容词——它背后是成千上万张加速卡、昂贵的推理集群和按 token 计费的账单。端侧前沿要做的不是把云端模型原样搬下来，而是让"同一档能力"在几十 GB 内存里跑起来。靠的是三件事的组合：
量化（AI 词典：Quantization">Quantization）。把权重从 16 位浮点压到 8 位、4 位甚至更低。好比把精装画册重印成口袋书：内容和结构都在，只是色彩位数少了。代价真实存在，而且不均匀——常识和语言流畅度几乎不掉，长尾知识、多步推理、代码细节往往最先退化。
显存卸载（Offloading）。消费级显卡显存通常只有十几到二十几 GB，而百亿参数以上的模型即使 4 位量化后仍可能占几十 GB。放不下的部分被挪到系统内存甚至固态硬盘，用到时再搬回显存。这就像书桌放不下全部资料：桌上只留正在看的一摞，其余放书架，需要时起身去取。"起身"这一步走的是内存带宽，直接表现为首字延迟（TTFT）变长、生成速度（tokens/s）下降——所以这类模型常常是"能跑，但要有耐心"。
稀疏架构与蒸馏。混合专家（MoE）让每次推理只激活一小部分参数，"总参数很大、单次计算很小"成为可能；蒸馏（Distillation）则用一个已训练好的大模型去教一个小模型，把能力迁移过去。
真实差距在这里：
| 维度 | 云端前沿模型 | 端侧前沿模型 |
|---|---|---|
| 权重精度 | 原始精度 | 通常 4–8 位量化 |
| 内存 | 集群显存，几乎不受限 | 显存+内存+硬盘卸载，硬约束 |
| 速度 | 高并发、快 | 单机，明显更慢 |
| 上下文长度 | 可开很长 | 受 KV 缓存（KV Cache）挤占内存限制 |
| 可用性 | 依赖网络、按量计费 | 离线可用、数据不出机器 |
和相邻概念的区别：端侧小模型（几 B 参数）主打快和省，能力天花板明显更低；端侧前沿模型是"同一档能力的降精度移植版"；云端前沿模型是"原版"，但离开网络就没了。三者不是替代关系，是同一个能力在不同预算下的三个落点。
对从业者的意义：评估端侧模型别只看榜单跑分，要看目标硬件上的实测生成速度、可用上下文长度，以及量化后的能力衰减曲线。产品设计上，把"离线可用、数据不出设备"当作功能卖点，而不是云端的降级备胎。
对普通人的意义：好处是隐私、断网可用、没有按 token 跳动的账单；代价是慢、吃内存、处理长文档吃力。挑机器时，统一内存容量和内存带宽往往比显卡型号更决定体验。
具体某个型号的量化方案、实际内存占用和支持的上下文长度，各家差异很大，以官方页面为准。