创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

开发者用三层卸载运行775 GB Kimi模型

AI 总结

Reddit开发者Grawnch发布了775 GB的Kimi-K3.1-Pro-Coder量化版,较1.77 TB基础配置缩减56%,同时公开Strata加载器和dr-triton反量化内核。作者称,该实验系统通过GPU、系统内存和NVMe运行全部93层,在单张RTX PRO 6000 Blackwell上达到36.8批量tokens/s和10.8单流tokens/s,并在AIME 2025与LiveCodeBench上均取得96.7%。

深度见解

该项目具体展示了借助GPU、内存和NVMe联合卸载运行超大MoE模型的方法,但基准与吞吐数据均为作者自测,尚无独立复现。

#Kimi-K3.1-Pro-Coder#Strata#dr-triton#NVIDIA RTX PRO 6000 Blackwell

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。