面壁智能称优化版MiniCPM-V 4.7 35B-A3B手机端超30 Token/s
面壁智能在端侧多模态大模型技术交流活动上表示,经新一轮推理优化,MiniCPM-V 4.7 35B-A3B在手机上的生成速度已提升至30 Token/s以上,运行内存占用约为3GB,精度损失几乎可忽略。智东西在搭载该模型的iPhone Duo现场实测实时解码速度约25 Token/s,低于团队披露数值。团队此前数据显示,该模型在iPhone 17 Pro Max上的生成速度超过13 Token/s,在iPad Pro M4 16GB上超过17 Token/s。面壁智能于10月13日发布并开源MiniCPM-V 4.7系列,包括35B-A3B和1B两个版本。其前瞻专家调度(LES)技术可预测下一层需要调用的专家,并在当前层计算时从闪存预取权重。厂商称,LES不改变模型输出,并可在iPad Pro M4 16GB上使该模型生成速度平均提升约5倍。
报道结果显示,一款总参数量350亿的多模态MoE模型可在约3GB内存下接近手机端交互式生成速度,而LES针对的是有限内存运行MoE模型时的关键瓶颈。不过,智东西实测速度约为25 Token/s;面壁智能还表示,该模型运行功耗接近大型手游,现阶段无法实现全天候持续运行。

智东西 作者 | 江宇 编辑 | 云鹏
350亿参数的多模态大模型,在仅占用约3GB内存的情况下,已经能在手机上实现超过30 Token/s的生成速度。
智东西11月5日报道,今日,在面壁智能举行的端侧多模态大模型技术交流活动上,面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远透露,团队通过最新一轮推理优化,已将MiniCPM-V 4.7 35B-A3B在手机上的生成速度进一步提升至30 Token/s以上,模型精度损失几乎可以忽略。
一款总参数量达到350亿、每次推理仅激活约30亿参数的混合专家(MoE)模型,正在接近智能手机上较为流畅的实时交互速度。
此前,面壁智能已于10月13日发布并开源MiniCPM-V 4.7系列模型,包括35B-A3B和1B两个版本。
#ModelBuilder (面壁智能)#MiniCPM-V 4.7 35B-A3B#MiniCPM-V 4.7 1B#Lookahead Expert Scheduling (LES)#LLaVA-UHD v4#DSpark#iPhone 17 Pro Max#iPad Pro M4#iPhone Duo#Apple Intelligence#RLPR#Self-Replay Fine-Tuning