Arm Mali升级矩阵运算与边缘统一调度
36氪报道称,Arm更新了Mali GPU架构,升级矩阵运算资源,并为车载、移动和嵌入式设备提供图形与AI工作负载的统一调度方案。报道还提到Imagination E系列GPU IP;公司表示,该系列较上一代D系列实现4.4倍Conv2D性能、4.8倍GEMM性能和4.7倍预填充性能。Imagination还正将优化后的Llama.cpp后端提交至上游社区,并计划原生支持PyTorch和ONNX Runtime。
报道指出,在边缘设备中统一调度图形、通用计算和AI推理任务,可以复用算力资源,并减少系统碎片化及不同硬件模块之间的数据搬运。
近日,Arm公布新一代Mali GPU架构更新,在图形管线内升级矩阵运算单元,强化端侧大模型推理与神经渲染协同,面向车载、移动及嵌入式终端推出统一软件调度方案。
这种把AI算力融入GPU、以统一硬件承载多类负载的方式,正成为行业共同选择。类似的融合尝试也在不同市场层次展开,从移动端到桌面端,再到IP授权市场,厂商路径各异,指向的却是同一个方向。
01 本地AI为何需要GPU
随着边缘端应用场景持续丰富,设备需要同时承载图形渲染、机器视觉、信号处理与大模型推理等多类任务。
以端侧大模型为例,从单一对话到多模态协同,从短上下文到长上下文,负载特征持续变化,对硬件灵活性提出更高要求。过去一段时间,芯片设计的主流思路是针对不同负载单独配置专用硬件模块,图形单元、AI加速器、视频编解码单元各自拥有独立的数据通路与软件栈。这种方案可以针对单一指标做到性能最优,但短板同样突出。多加速器并存会显著提升系统集成难度,硬件资源难以跨任务调度。一旦终端需求迭代,部分专用固定功能硬件就会出现利用率不足的问题,推高芯片整体成本与功耗。
#Arm#Imagination Technologies#Imagination E-series#Imagination D-series#Qwen 3.5 4B#Llama.cpp#PyTorch#ONNX Runtime#PowerVR SDK