OpenJet 支持单卡并发运行多个编码智能体
AI 总结
OpenJet 发布新版本，通过自研 CUDA megakernel，让 Qwen3.8-27B Q4_K_M 在单张 GPU 上同时服务多个编码智能体。开发者在 RTX 3090 上报告，四个智能体处理短提示时每个可达 64–72 tok/s，每个使用 23K 上下文时可达 52–55 tok/s，但尚无独立测试验证。
深度见解
该版本提供了在并发本地编码智能体之间共享模型权重读取和分页 KV 池的具体实现，但所报吞吐量仍仅为开发者测试数据。