EdgeRock-4B开源,主打固定内存长上下文推理
AI 总结
据量子位报道,岩芯矩阵联合港科大、CMU等团队发布并开源了EdgeRock-4B。该模型基于Qwen3.5-4B改造,通过循环状态、局部窗口和记忆岩锚,在256K上下文下将KV Cache固定在72MiB,较源模型减少99.1%。团队测试称,其在单张80GB Hopper GPU上可同时运行512路长推理,输出吞吐达12124 tokens/s,AIME 2024—2026平均一次通过率为82.9%,但所供报道未提供独立复测。
深度见解
EdgeRock-4B在开源权重和推理代码的同时,以固定容量状态支持长上下文与图像推理,为降低KV Cache内存和提升单卡并发提供了一种值得关注的技术方案。
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型 – 量子位
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型

一张卡,512路长推理同时跑
#EdgeRock-4B#Rock Matrix#Hong Kong University of Science and Technology#Carnegie Mellon University#Qwen3.5-4B#Rock Memory Anchors