高通CEO:AI企业要求2028年手机本地跑100B模型
AI 总结
高通总裁兼CEO安蒙在年度骁龙峰会期间接受Sources采访时表示,多家处于AI前沿的公司已要求高通在2028年前支持手机持续在本地运行至少1000亿参数的大语言模型,并称“AI公司开始做手机”。他没有透露这些公司的名称,高通也未公布实现这一目标的完整硬件方案或商用机路线图。报道指出,按4位量化计算,1000亿参数模型仅权重就需约50GB内存,还要为系统、应用和上下文缓存留出空间,而当前旗舰手机内存多在12GB至16GB,DRAM供应紧张与涨价进一步抬高门槛。可能的路径包括更激进的量化、MoE专家卸载或把权重放在闪存中按需加载,但都会牺牲模型质量或推理速度;安蒙认为更务实的过渡方案是先推动200亿至300亿参数的精简模型,同时散热与续航仍是常驻运行的瓶颈。
深度见解
若手机能持续本地运行百亿乃至千亿级模型,终端将从偶尔调用云端AI转向常驻本地推理,但内存成本与散热将决定这一转变的节奏。