用ASR、LLM和TTS搭建流式语音智能体
AI 总结
一篇教程介绍一条浏览器到服务端的语音智能体链路:浏览器录音,使用腾讯云ASR转成文字,经SSE流式传输大模型回答,并通过WebSocket发送合成音频。文章解释了文字与二进制音频采用不同传输协议的原因,并提供面向NestJS的实现思路、代码和排错建议。作者指出,录音页面调用的/speech/asr接口仍未加入控制器,因此完整链路尚未得到端到端验证。
深度见解
该教程提供了组合语音识别、流式大模型输出和语音合成的实用实现模式,同时明确指出缺少NestJS ASR接口,因而无法完成端到端验证。
目标读者:写过一点 Node/前端,想让自己的 Agent 能“听懂人话、张嘴说话”的中级开发者。 读完你会拿到一条能跑的链路:浏览器录音 → 服务端转文字 → 大模型流式回答 → SSE 推字 + WebSocket 推音频。
一、为什么 Agent 一定要有语音
先讲场景,别讲技术。
用户在地铁上、在开车、在厨房手上都是油。这时候他不想打字,他想说一句:
“帮我看看今天还有哪些待办没做完。”
#NestJS#Tencent Cloud#Qwen#Tencent Cloud Streaming TTS#Tencent Cloud One-sentence ASR