哈工大与字节跳动团队提出多模态结构化推理格式DRT
AI 总结
哈尔滨工业大学与字节跳动联合团队提出密集推理迹(DRT),将视觉观察与逻辑推演拆分,并用符号连接符串联中间状态。据掘金·人工智能报道,研究团队的DRT推理迹在token效率上较自然语言思维链达到5.5倍,并在数学和图表推理评测中较Qwen3-VL基线高出1.3个百分点。报道指出,该格式目前由人工设计,其对开放域任务的泛化能力尚未验证,在自然图像场景中的表现也未知。
深度见解
报道将DRT视为多模态模型和智能体系统更紧凑、更便于机器读取的推理表示。观察与推演的分离也被描述为有助于逐步审计,而据报道的token使用量下降可降低长推理迹的成本。
💡 一句话总结:让 AI 展示推理过程(思维链)是提升准确率的标配,但 CoT 是「写作文」——冗长、烧 token,多模态场景下还把视觉细节稀释在文字里。DRT 换了个表达层:让模型用紧凑的结构化格式思考(观察归观察、推理归推理、符号做连接)。结果:token 省 5.5 倍,准确率反而涨。思维链的形态,可能从一开始就选错了。
导语:思维链的「文学税」
「请一步步思考」——CoT 提示是 AI 推理的标配。但观察 CoT 的输出,它本质上是在写小作文:「首先,我注意到图片中有一个红色的杯子,杯子旁边有一张桌子,桌子上有……」
这种自然语言推理有三个隐藏成本:
- Token 账单:长 CoT 的推理成本可能是答案本身的几十倍
- 信息稀释:关键信号淹没在修辞里——尤其多模态场景,「看到什么」和「推出什么」混在一堆文字里
- 幻觉温床:为了行文流畅,模型倾向于「补写」并没有真正观察到的细节
#Dense Reasoning Trace (DRT)#Harbin Institute of Technology#ByteDance#Qwen3-VL#Trace-Grounded GRPO