Nebius、NVIDIA、Uber 谈算力效率提升
AI 总结
在《The Information》AI Agenda Live 的一场小组讨论中，来自 Nebius、NVIDIA 和 Uber 的高管讨论了在智能体工作流推高 token 消耗的背景下如何优化算力。Nebius 首席营收官 Marc Boroditsky 表示，公司会按客户在速度、可靠性、质量或价格上的具体目标做定制优化，例如用推测解码让较小模型预测 token、再由大模型批量校验，并以客户自有流量改进效果；NVIDIA 的 Dion Harris 提到其 Dynamo 平台可定位集群 KV 缓存中已计算过的数据，避免重复计算。Uber 基础设施副总裁 Mattie Toia 称，尽管智能体工作流使用增加，其 token 成本近几个月已趋稳，原因包括把缓存下沉到各个子智能体，以及让工程师看到自己的用量；Uber 还构建了约 2400 万节点的内部“上下文图”，把查询时间从 20 分钟压缩到 30 秒。
深度见解
算力紧张之际，业界注意力正从“抢到多少 GPU”转向“每个 token 能产出多少价值”。