创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

阿里MNN开源端侧模型MNN-Pocket-0.3B

AI 总结

阿里MNN团队开源了约3亿参数的MNN-Pocket-0.3B,这是一款重点支持中英文、面向手机应用任务的轻量语言模型。团队称,其INT4部署文件为173MB,在iPhone 18 Pro上完全离线运行时平均解码速度约350 token/s,并在iPad Pro M5的Metal测试中达到466 token/s。团队还发布了Base、SFT、MNN、DFlash2和Dec版本,覆盖预训练、后训练、端侧部署、投机解码和候选选择。

深度见解

该项目开放了一个围绕MNN构建的紧凑模型与部署技术栈,便于开发者将生成式功能集成到资源受限的手机应用中。

IT之家 11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。

围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标:

  • 速度上,在指定设备与上下文配置下,解码吞吐超过 200token/s。这一目标参考高速云端模型服务的生成吞吐,力求在本地提供流畅的生成体验。
  • 内存上,在指定测试条件下,峰值内存低于 300MB。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。
  • 功耗上,在典型推理负载(输入 512~1024token、输出 128token)下,单次推理增量能耗目标不超过参考手机电池能量的万分之一,即 100 次推理耗能不超过电池能总量的 1%,控制高频调用的续航开销。
  • 能力上,以在指定业务场景上达到 8B 级模型的效果为目标,兼顾中英文理解、世界知识与数学、代码推理能力,重点强化指令遵循,并为长上下文与多步骤任务保留扩展空间。

#Alibaba#MNN#MNN-Pocket-0.3B#MNN-Pocket-0.3B-Base#MNN-Pocket-0.3B-SFT#MNN-Pocket-0.3B-MNN#MNN-Pocket-0.3B-DFlash2#MNN-Pocket-0.3B-Dec#MNN inference engine#Qwen3-0.6B#MiniCPM4-0.5B

原文约 5 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。