创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

FreeToken面向消费级硬件提供本地MoE推理

AI 总结

FreeToken是一款采用Apache 2.0许可证的边缘原生混合专家(MoE)服务引擎,旨在个人及消费级硬件上运行大型开放权重模型。它将GPU、CPU、主机内存和互连资源整合为弹性平台,支持带宽自适应的CPU–GPU协同执行、专家缓存、动态显存重分配,以及兼容Anthropic和OpenAI的API。项目支持消费级笔记本、游戏台式机和工作站GPU。其发布方声称,该系统可在游戏电脑上以交互速度运行290B以上的前沿MoE模型,但现有报告未提供独立基准测试或经核实的吞吐量和延迟数据。

深度见解

FreeToken旨在通过协调异构消费级硬件并提供兼容API,让大型开放权重MoE模型能够在本地运行。其“游戏电脑上以交互速度运行290B以上模型”的核心说法仍是未经核实的厂商声明。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

link

https://flashml.ai


FreeToken

| Download | Paper | Developer Slack | Community Discord | Community WeChat |

#FreeToken#FlashML-org#DeepSeek-V4-Flash#Qwen3.6-35B-A3B#GLM-5.2#Codex#Claude Code#OpenCode#OpenClaw#DeepSeek Harness

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。