创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Token经济重塑AI推理算力采购

AI 总结

钛媒体报道称,AI基础设施采购正从峰值算力和FLOPS,转向推理吞吐、延迟、能耗、稳定性与Token成本。受访产业高管表示,模型部署还需处理上下文长度、并行策略、业务负载验证和持续运行等工程问题,而软件优化可显著降低推理成本。报道还引用多项预测称推理负载与支出正在超过训练,但部分市场预测和性能数据尚未得到独立核验。

深度见解

钛媒体援引产业访谈和机构预测称,Token效率正成为AI推理基础设施采购与验收的重要标准,竞争重点由芯片单项性能进一步延伸至整体交付效率。

算力产业今年有一个很明显的变化,用户已经不再停留在“算力规模有多大”“芯片性能提升了多少”,而是反复围绕一个更具体的词:Token。新爱算联合创始人杨智告诉我们,今年年初以来,他们客户提的问题完全变了,“客户开始更聚焦模型跑起来一秒能出多少Token?生成Token的成本是多少钱?”

这背后是算力产业的价值体系变了。AI算力的价值衡量体系,正在从训练时代的追求峰值算力,转变为推理时代的追求效率。

算力生意的逻辑变了

在杨智看来,今天的智算行业,就好像二十年前的房地产行业。“当年房地产是包工头定制化、单位分房,找个包工头把房子盖好就能住。现在很多智算中心也一样,大厂过来租机房,把设备搬过去弄好,就结束了。”

#DeepSeek#NVIDIA#Groq#AMD#Sugon#New Love Compute

原文约 8 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。