Reddit 用户借助英特尔傲腾内存无显卡运行 Kimi K3
AI 总结
Reddit 用户 u/IndividualSurvival 报告称,其使用 llama.cpp,在配备 40 核第三代英特尔至强可扩展处理器和已停产的英特尔傲腾持久内存的设备上,不使用显卡运行了 2.8 万亿参数的 Kimi K3。测试采用 App Direct 模式,将 DRAM 和傲腾作为两个独立地址空间呈现给软件。采用 1 比特量化时,关闭 DAX、让常用数据受益于 DRAM 缓存后,生成速度从约每秒 0.85 个词元升至 1.50 个词元。另一项 3 比特测试达到每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。
深度见解
这项报告以量化数据展示了通过 CPU 和持久内存、无需显卡运行超大模型的一种方式,同时也记录了量化方式与生成速度之间的取舍,不过报告中的生成速度较低。