ConvexLLM让音频直接接入大模型
AI 总结
港中深与微软研究院提出多模态统一建模架构ConvexLLM,通过C-Gate将音频映射到大模型冻结词向量的凸包中,无需先将语音转写为文本。该架构以冻结词向量的非负加权组合生成音频表示,使声音可直接调用大模型预训练阶段积累的知识与推理能力。AIbase称其在VoiceBench等测试中表现突出,BBH成绩较最强基线高8.8个百分点,但现有材料未独立验证这些性能结论。
深度见解
ConvexLLM探索了绕过语音转写、直接连接音频与预训练大模型的统一建模路径。
港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

AIbase基地
发布于AI新闻资讯 · 1 分钟阅读 · Nov 19, 2026
8
在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。
#ConvexLLM#C-Gate#The Chinese University of Hong Kong (Shenzhen)#Microsoft Research#VoiceBench#BBH