开发者用三层卸载运行775 GB Kimi模型
AI 总结
Reddit开发者Grawnch发布了775 GB的Kimi-K3.1-Pro-Coder量化版,较1.77 TB基础配置缩减56%,同时公开Strata加载器和dr-triton反量化内核。作者称,该实验系统通过GPU、系统内存和NVMe运行全部93层,在单张RTX PRO 6000 Blackwell上达到36.8批量tokens/s和10.8单流tokens/s,并在AIME 2025与LiveCodeBench上均取得96.7%。
深度见解
该项目具体展示了借助GPU、内存和NVMe联合卸载运行超大MoE模型的方法,但基准与吞吐数据均为作者自测,尚无独立复现。