创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Reddit 用户借助英特尔傲腾内存无显卡运行 Kimi K3

AI 总结

Reddit 用户 u/IndividualSurvival 报告称,其使用 llama.cpp,在配备 40 核第三代英特尔至强可扩展处理器和已停产的英特尔傲腾持久内存的设备上,不使用显卡运行了 2.8 万亿参数的 Kimi K3。测试采用 App Direct 模式,将 DRAM 和傲腾作为两个独立地址空间呈现给软件。采用 1 比特量化时,关闭 DAX、让常用数据受益于 DRAM 缓存后,生成速度从约每秒 0.85 个词元升至 1.50 个词元。另一项 3 比特测试达到每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。

深度见解

这项报告以量化数据展示了通过 CPU 和持久内存、无需显卡运行超大模型的一种方式,同时也记录了量化方式与生成速度之间的取舍,不过报告中的生成速度较低。

不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元 - IT之家

首页

IT圈

最会买

设置

  • 日夜间 随系统 浅色 深色
  • 主题色 黑色

#Kimi K3#Moonshot AI#Intel Optane#Intel Xeon Scalable#llama.cpp

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。