Janas：用SSD流式加载专家，笔记本跑超内存大模型
开源实验性推理引擎 Janas 由 Maurizio Cammalleri 以 GPL-3 发布，它把混合专家模型的权重从 NVMe SSD 流式读取，让体积大于内存的模型也能在普通硬件上运行。项目自带的 janas-bench 测量显示，在 Debian 13 笔记本（Intel Core Ultra 9 185H、集成 Arc 显卡、32 GB 内存）上，48.4 GB 的 Qwen3-Next-80B-A3B 读取 1024 token 提示词达 62 tok/s、生成 24 tok/s，而 llama.cpp 在相同文件上为 16 tok/s 和 2.8 tok/s。Janas 报告在多数对比模型上读写速度均快于 llama.cpp，唯一例外是 3-bit 的 Qwen3-30B-A3B，其提示词读取慢于 llama.cpp。
按项目自述，llama.cpp 在该笔记本上让 GPU 参与时对 48.4 GB 模型出现内存不足，而 Janas 声称能以交互速度运行同类模型。
37 tok/s from Qwen3-Next-80B (a 48 GB model) on a laptop with 32 GB of memory, 24 without drafts, where llama.cpp manages 2.8; reading a prompt, 62 tok/s against 16. Janas-LLM was faster than llama.cpp on every model compared on the same laptop (Debian 13 Linux, Intel Core Ultra 9 185H, its integrated Arc GPU, 32 GB, an NVMe SSD; 9-12 October 2026; the whole machine below):
#Janas#llama.cpp#Qwen3-Next-80B-A3B#Qwen3-Coder-Next#Maurizio Cammalleri#Gemma 4