FreeToken targets local MoE inference on consumer hardware
A technical report describes FreeToken as an edge-native MoE serving engine that combines GPU compute, CPU compute and host memory in a unified inference pool. The report says the project can run 290B-parameter open-weight models at interactive speeds on gaming PCs and supports features including semantic checkpoints, expert caching and dynamic VRAM allocation. It also reports support for Windows and Linux, Anthropic- and OpenAI-compatible APIs, several MoE models and NVIDIA RTX 30-, 40- and 50-series GPUs.
FreeToken addresses the engineering challenge of serving very large MoE models on consumer hardware by combining heterogeneous compute and memory resources.
随着混合专家（MoE）架构在前沿大语言模型中的普及，如何在消费级个人硬件上高效部署数据中心级别的模型，成为边缘 AI 领域亟待解决的工程难题。FreeToken 正是面向这一痛点而生的边缘原生 MoE 服务引擎。它通过创新的双层协同机制与自适应内存管理，将原本专属于云端的 290B 参数级前沿开放权重模型，转化为可以在游戏 PC 上以交互式速度流畅运行的本地应用 [1]。本文从技术定位、核心执行策略、智能缓存、内存调度、生态兼容性与部署途径六个维度，深度剖析 FreeToken 的架构设计及其背后的工程创新。
一、 核心定位：异构边缘资源的统一弹性平台
FreeToken 的底层设计哲学是“异构融合”。传统的大模型推理框架通常依赖昂贵的 HBM 显存和高带宽 PCIe 5.0 互连，限制了其在普通消费级硬件（如搭载标准 DDR4/DDR5 内存的游戏 PC）上的可用性。FreeToken 将边缘设备的 GPU 算力、CPU 算力与主机内存抽象为一个统一的弹性推理池。它不仅能在笔记本、游戏台式机上运行，还能在工作站级别通过聚合多块 GPU 或 CPU 核心，横向扩展至支持更大规模的模型服务，打破了边缘节点与数据中心在推理资源调度上的壁垒 [1]。
#FreeToken#DeepSeek-V4-Flash#Qwen3.6-35B-A3B#GLM-5.2#mini-sglang#SGLang#vLLM#FlashInfer#llama.cpp