OpenVLHarness：多模态智能体工具调用框架
arXiv 论文 OpenVLHarness（arXiv:2610.26860，10 月 19 日提交，作者为 Yu Zhou 等 11 人）提出一个围绕“能力层”与持久多模态记忆构建的多模态推理框架。能力层把任务级工具接口与证据渲染结合，将异构后端的输出转换为模型可读的观察；持久记忆以可寻址工件保留相关图像、结构化数据和网页引用，代码接口则可在已存数据上执行程序，把多个工具的结果组合计算。作者称在 22 个基准、8 个开放与专有底座模型上，该框架平均分比匹配的无工具基线高 9.7–12.6 分；使用 GPT-6 Luna 中等推理强度时，比基础模型、Codex 和 Visual Sketchpad 的最高强度高 7.7–8.5 分，模型 token 成本至多为其 37%。
论文的对照研究称，仅提高基础模型的推理预算在 22 个基准上只带来有限提升，作者由此把外部工具与持久多模态记忆作为视觉推理的另一条路径。
Computer Science > Computation and Language
arXiv:2610.26860 (cs)
[Submitted on 19 Oct 2026]
Title:OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
Authors:Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, Mingyang Zhang, Zhen Yang, Ruiyi Zhang, Nanyun Peng, Zhe Gan, Kai-Wei Chang
View a PDF of the paper titled OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory, by Yu Zhou and 10 other authors
#OpenVLHarness#Qwen3-VL-8B#Kimi K3#GPT-6 Astra#GPT-6 Luna#Codex#Visual Sketchpad