创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Ternary Bonsai 2 系列端侧模型发布

AI 总结

PrismML 于 10 月 15 日发布 Ternary Bonsai 2 系列端侧模型,包含 2B、4B 和 9B 三种规模,参数采用 -1、0、+1 的三元权重表示,存储占用分别约为 0.43GB、0.95GB 和 2GB,并与已发布的 27B 版本共同覆盖从轻量到复杂任务的本地部署需求。官方称该系列面向手机、PC 与可穿戴设备上的本地智能体,支持遵循指令、完成日常任务、调用工具和识图;在覆盖六类能力的 19 项基准测试中,9B 模型在标准指令执行和日常数学任务上所需 token 数量约减少 40%。性能方面,PrismML 表示在 RTX 4090 和 M5 Pro 等硬件上相较对应全精度模型最高可实现 5 倍吞吐量和 3 倍能效,在 iPhone 18 Pro Max 上 9B 最高约 34 词元/秒、2B 最高约 120 词元/秒;模型基于阿里 Qwen 3.5 基座构建,权重以 Apache 2.0 许可开放,可通过 llama.cpp 在 NVIDIA GPU 上运行,或通过 MLX 在 Mac、iPhone 和 iPad 上部署。

深度见解

三元权重的端侧模型若真能兑现宣称的吞吐与能效收益,将降低手机与可穿戴设备本地运行智能体的门槛。

PrismMLTernary Bonsai 2Qwen 3.5

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。