NVIDIA Dynamo 推出会话级智能体推理优化
AI 总结
PyTorch 博客介绍了 NVIDIA Dynamo 面向智能体推理的会话级优化：用统一的 session_id（子会话附带 parent_session_id）把按请求处理的推理服务改造成“程序感知”系统。Dynamo 可直接识别 Claude Code、Codex、OpenCode 已发出的会话头，其他 harness 通过 X-Dynamo-Session-ID 接入，Hermes、OpenClaw 等已有翻译插件。文章还描述了会话感知路由与准入控制（移植 ThunderAgent 论文的调度器）、共享 KV cache 索引、Session-Prefix Indexer 与 KvHint 接口，以及用 DYN_REQUEST_TRACE=1 采集轨迹、AISimulate 离线模拟和 AIPerf 实机回放。
深度见解
智能体负载的瓶颈更多在 KV cache 复用与调度而非单纯算力，会话级原语有望成为推理服务栈的通用做法。