端侧语音智能体用推测执行隐藏工具延迟
AI 总结
一篇 arXiv 论文提出面向端侧级联语音智能体的“推测式工具执行”：Predictor 模块在语音识别尚未结束时，就从部分 ASR 假设中预测可能的工具调用并提前执行、缓存结果，再把有效缓存注入 LLM 提示以获得更快响应。为应对用户中途自我纠正，作者加入基于规则的校验机制，只注入有效缓存；同时 LLM 仍可直接发起工具调用，使最坏情况下的延迟不超过串行基线。在完整实现的 Android 语音助手上实测，中位首次出声时间从 5.79 秒降至 4.60 秒，标准差由 3.49 秒降至 2.81 秒。
深度见解
它给出了一条不换模型、只靠调度与缓存来压缩语音助手响应延迟的工程思路。