创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

文章探讨「每瓦 Token 数」能否取代 TOPS

AI 总结

一篇掘金文章认为,标称 TOPS 高并不等于端侧 AI 体验好,并提出以「每瓦 Token 数」(稳定输出 token 速率除以实际功耗)衡量真实能效。文章对比了高通的异构 CPU/GPU/NPU 协同与联发科的能效优先 APU 调度、端云协同路线。文章还讨论端侧 AI 从被动响应转向常驻、多模态、连续推理后对芯片设计的要求,以及功耗、性能、成本之间的三角平衡。

深度见解

若每瓦 Token 数成为端侧芯片的主要口径,芯片宣传、模型量化与部署选型的评价基准都可能从峰值算力转向可持续能效,但该判断出自单篇分析文章,并非已成行业共识。

1. 引言:当端侧 AI 开始「算账」

过去几年,端侧芯片的宣传口径几乎被一个数字统治——TOPS(每秒万亿次运算)。从手机 SoC 到 PC 处理器,再到各类 AI 加速卡,厂商们乐此不疲地把 TOPS 越堆越高,仿佛只要算力足够大,端侧 AI 就能水到渠成。

但真正把大模型塞进手机、PC、车机和可穿戴设备之后,行业很快发现:TOPS 高不等于体验好。一台标称 40 TOPS 的设备,跑起 7B 模型可能只有个位数 token/s,风扇狂转、电量狂掉;而另一台标称 20 TOPS 的设备,反而能流畅地长时间对话。

于是,一个新的指标开始被反复提及——每瓦 Token 数(Tokens per Watt)。它衡量的不是「峰值能算多快」,而是「每一瓦功耗能稳定产出多少有效 token」。这个看似简单的换算,正在把端侧芯片的设计逻辑从「堆算力」推向「算效率」。

本文围绕四个问题展开:

  • 「每瓦 Token 数」为何会取代 TOPS 成为端侧 AI 的核心指标;
  • 高通、联发科等厂商的端侧芯片路线如何围绕这一指标演进;
  • 设备从「被动响应」走向「主动服务」,对算力提出了哪些新要求;
  • 端侧芯片如何在功耗、性能、成本这个三角中寻找平衡。

#Qualcomm#MediaTek#Hexagon

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。