跳到主内容
快讯直播
AI智模界
AI 词典

Intelligence per Watt:每瓦智能是什么

一句话定义:Intelligence per Watt(每瓦智能,也称智能能效比)指的是,在固定的功耗预算下,一套 AI 系统能持续交付多少“有用的智能”。

打个生活化的比方。买车时不只看油箱多大,更要看一升油能跑多少公里。模型参数量像油箱容积,跑分像仪表盘上的最高时速,而每瓦智能更像真实路况下的百公里油耗——它回答的不是“极限能多强”,而是“用这点电,能稳定干多少活”。

怎么算

粗略地说:每瓦智能 = 任务效用 ÷ 平均功耗。

分子“任务效用”没有一个官方单位,通常按场景自己定义:可以是任务成功率、一次对话里可接受的回答比例、多步推理走完的概率,也可以把质量折算成“有效 token 数”。分母则用平均功耗(瓦),而不是峰值功耗——因为端侧设备的瓶颈往往是长时间的平均发热与掉电,而不是某一瞬间的峰值。

一个常见的近似做法是:在目标设备上固定任务集,测出每秒能生成多少 token 以及对应的平均功耗,再乘上质量系数。质量系数是关键,它防止“答得快但没答对”被算成高效率。

和相邻概念的区别

指标衡量什么主要盲区
参数量模型规模不体现质量与效率
跑分(benchmark)任务准确率常忽略功耗、延迟、散热
吞吐(tokens per second)生成速度不体现质量与耗电
FLOPs per token计算量是算力,不是功耗
每瓦智能单位功耗下的有效智能任务效用难统一,横向比较要谨慎
每美元智能云端成本视角对电池设备意义有限

为什么在端侧更值得看

云端的电费可以摊薄,端侧不行。手机、笔记本、耳机、眼镜、车机都受电池、散热和无风扇设计的硬约束。同一个 7B 级模型,在不同芯片、不同量化方案下,跑分可能差不多,但续航可能差出一倍。这时参数量和榜单名次就解释不了用户体验,每瓦智能才能。

对从业者

选型时别只对着榜单做决定。在目标设备上跑几个自己的真实任务,记录平均功耗与成功率,这才是能决策的数据。量化、蒸馏、稀疏化、KV 缓存优化、批处理策略,本质上都是在抬分子或压分母。

对普通人

“能本地跑大模型”这句话,要追问三件事:插着电还是用电池?能撑几分钟还是全天?机身烫不烫、风扇吵不吵?把这三个问题问完,你得到的其实就是一个粗略的每瓦智能判断。

涉及具体设备的功耗与性能表现,以厂商官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。