FreeToken面向消费级硬件提供本地MoE推理
AI 总结
FreeToken是一款采用Apache 2.0许可证的边缘原生混合专家(MoE)服务引擎,旨在个人及消费级硬件上运行大型开放权重模型。它将GPU、CPU、主机内存和互连资源整合为弹性平台,支持带宽自适应的CPU–GPU协同执行、专家缓存、动态显存重分配,以及兼容Anthropic和OpenAI的API。项目支持消费级笔记本、游戏台式机和工作站GPU。其发布方声称,该系统可在游戏电脑上以交互速度运行290B以上的前沿MoE模型,但现有报告未提供独立基准测试或经核实的吞吐量和延迟数据。
深度见解
FreeToken旨在通过协调异构消费级硬件并提供兼容API,让大型开放权重MoE模型能够在本地运行。其“游戏电脑上以交互速度运行290B以上模型”的核心说法仍是未经核实的厂商声明。
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

| Download | Paper | Developer Slack | Community Discord | Community WeChat |
#FreeToken#FlashML-org#DeepSeek-V4-Flash#Qwen3.6-35B-A3B#GLM-5.2#Codex#Claude Code#OpenCode#OpenClaw#DeepSeek Harness