kimi-k3-in-c 用可移植 C99 在单颗 CPU 上运行 Kimi K3
AI 总结
开源项目 kimi-k3-in-c 据其文档以可移植 C99 实现 Kimi K3 推理，不依赖 BLAS、框架或 GPU 路径。作者报告称，2.78 万亿参数模型在配备 8 GB、32 GB、64 GB 或 128 GB 以上内存时均产生字节一致的输出；实测速度从使用 8 GB 内存时的每 token 26.5 秒，到模型可完全装入 128 GB 以上内存时的 5.6 秒。所有数据均来自一台配备 124 个核心和 228 GB 内存的双路 AMD EPYC 7763 工作站。项目报告的检查点大小为 1.56 TB，8 GB 配置的峰值 RSS 为 8.24 GB。macOS、Windows 和 NEON 移植、聊天模式、ultra 预设、更快的 MXFP4 内核及解析器修复由其他参与者贡献。
深度见解
该项目记录了一种纯 CPU 运行方案：大部分 Kimi K3 路由专家从存储中流式读取，而非常驻内存。项目称不同内存配置下输出字节一致，同时不依赖 GPU 路径、BLAS 库或推理框架。
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
kimi-k3-in-c
A 2.78-trillion-parameter model. One CPU. 8 GB of RAM.
Kimi K3 inference in portable C99. No BLAS. No framework. No GPU.
部分来源内容未展示，可前往原文继续阅读。