创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

开放权重模型凸显显存约束

AI 总结

一份报告考察了数款据报发布的开放权重模型:拥有2.8万亿参数和100万Token上下文的Kimi K3.1 Pro、总参数2800亿且每Token激活140亿的ERNIE 5.5 Flash Base、提供350亿和1220亿版本并采用Apache 2.0许可的Axion 1.0,以及Ripple-65B。所给材料未对这些发布信息进行独立确认。 报告通过运行Python代码估算:在单并发、15%开销且每张建模为80 GiB的显卡使用95%容量的假设下,ERNIE 5.5 Flash Base在32K上下文和FP8下占用305.5 GiB,在128K上下文和BF16下占用644.7 GiB。按相同假设,Axion 1.0-35B在32K上下文和FP8下占用40.9 GiB,可装入一张显卡。这些是模型估算值,并非独立硬件实测结果。 在同一个网页填表任务的五次中位数对比中,Flash单步耗时1.1秒、总耗时15.4秒,Pro单步耗时3.2秒、总耗时16.0秒。该项小规模一手测试未经独立复现。

深度见解

报告主张,模型选型不应只依据榜单排名,而应综合考察部署可行性和任务表现。其计算显示,精度、上下文长度和KV缓存会显著改变硬件需求;任务对比则说明,评估时不能只看单步延迟,还需结合步数和成功率。

开源模型挤着发了一圈,先别比榜单,算算显存

上周四到周五,开源模型挤着发了一圈。月之暗面放了 Kimi K3.1 Pro 的完整权重(2.8T,100 万上下文),百度开源文心 5.5 Flash Base(280B MoE,每 token 激活 14B),字节开源 Axion 1.0(35B / 122B,Apache 2.0,训练代码和数据一起给),还有 Ricursive 的 Ripple-65B。

选题会上有人问该上哪个。我说先别比榜单,先算能不能装下。

这篇就是算的过程,代码都跑过。

总参数和显存之间隔了两个东西

最常见的误解是拿总参数量直接换算显存。

#Moonshot AI#Kimi K3.1 Pro#Baidu#ERNIE 5.5 Flash Base#ByteDance#Axion 1.0#Ricursive#Ripple-65B

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。