苹果LensVLM:先选页再展开读长上下文
AI 总结
苹果基础大模型团队与杜克大学提出 LensVLM:先让模型浏览覆盖全文的压缩页面图像,再按需调用工具展开与问题相关的页面细读原文,从而在压缩上下文的同时保留回头查阅的能力。论文称在七项文本问答评测中,该方法以 4.3 倍有效压缩取得 68.9% 的平均准确率,接近完整文本参照的 72.4%;在 15 倍初始压缩下,基础模型直接读压缩图仅 18.1%,LensVLM 达到 52.1%。研究以 Qwen3.5-9B-Base 为基础,由 Qwen3.5-397B 生成工具使用轨迹做监督微调,再用 DAPO 强化学习继续优化;该工作已被 NeurIPS 2026 接收,LensVLM 9B Demo 已上线。
深度见解
在上下文窗口不断扩大的背景下,让模型主动分配阅读预算、决定哪些内容先粗看、哪些需要细读,可能与单纯扩大窗口同样重要。