创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

ConvexLLM让音频直接接入大模型

AI 总结

港中深与微软研究院提出多模态统一建模架构ConvexLLM,通过C-Gate将音频映射到大模型冻结词向量的凸包中,无需先将语音转写为文本。该架构以冻结词向量的非负加权组合生成音频表示,使声音可直接调用大模型预训练阶段积累的知识与推理能力。AIbase称其在VoiceBench等测试中表现突出,BBH成绩较最强基线高8.8个百分点,但现有材料未独立验证这些性能结论。

深度见解

ConvexLLM探索了绕过语音转写、直接连接音频与预训练大模型的统一建模路径。

港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

Image 1: aibase

AIbase基地

发布于AI新闻资讯 · 1 分钟阅读 · Nov 19, 2026

8

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。

#ConvexLLM#C-Gate#The Chinese University of Hong Kong (Shenzhen)#Microsoft Research#VoiceBench#BBH

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。