创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Mina实时语音会议助手实现解析

AI 总结

报告介绍了作者构建的会议助手Mina,用于自然接话、等待补充、接受打断、查询日历和执行业务工具。Mina在服务端使用sherpa_onnx.KeywordSpotter检测唤醒词,将请求绑定到发言人和交互窗口,并在保留服务端VAD的同时,把响应与打断决定交给应用。工具调用由应用校验并执行,结果回传给Qwen后再显式请求续答;耗时较长的任务可交由后台MeetingAgent处理,并通过任务ID追踪进度。当前代码默认使用qwen3.8-omni-flash-realtime,而文章参考的Speech-to-Speech榜单评测的是Qwen Audio 3.0 Realtime Plus。作者说明,实际接入模型的效果仍需用会议样本验证。该实现还监测轮次等待、工具执行、续答、播放准备和交互质量等环节的耗时与表现。

深度见解

该报告给出了控制实时语音智能体的具体实现路径,涵盖唤醒词处理、发言准入、应用侧轮次控制、函数调用、长任务和延迟监测。其实际接入模型的效果仍待会议样本验证。

上一篇讲了模型接入。这一篇继续处理接入之后的问题:从用户开口,到助手执行工具、返回答案,再到下一轮追问,中间需要哪些环节。

文章先讲通用机制,再对照框架与模型接口,最后回到我们自己的实现 Mina,说明每个选择的依据。

背景:先选实时语音路线,再看能否落地

我们要做一个能参与会议的助手,支持自然接话、等待补充、接受打断,以及查询日历和调用业务工具。选模型时,需要同时看两类能力:

  • 语音交互:听懂输入、控制接话时机,并持续生成自然的语音。
  • 业务执行:生成可靠的调用参数,让应用完成查询,再根据结果继续回答。

语音榜单为什么让我们优先看 Realtime

我们参考 Speech-to-Speech 榜单,评估模型的语音对话能力。Artificial Analysis 将语音推理、交互节奏、Agent 任务表现和响应速度分别展示。

#Mina#Qwen#Qwen Audio 3.0 Realtime Plus#qwen3.8-omni-flash-realtime#SeedRealtime#Seeduplex#Agora#Pipecat#LiveKit Agents#TEN Framework#sherpa-onnx#Artificial Analysis

原文约 26 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。