AI基建狂热与算力空转之辩
AI 总结
投中网联合中关村科学城公司、中关村创业大街举办的“Agent元年，重构AI Infra新势力”闭门沙龙，经36氪转载，聚焦AI基建巨额投入与效率隐忧。文中提到字节跳动通过银团贷款296亿美元、阿里巴巴配售800亿港元，谷歌与亚马逊此前融资逾800亿美元，NVIDIA抛出5000亿美元计划；今年3月国内日均Token调用突破140万亿，较2024年初增长千倍以上。与会者援引卡内基梅隆大学756张GPU连续31天实测，称集群近两成时间在等待，并称OpenAI推理业务一半以上能耗用于空转、国内智算中心GPU平均利用率不足30%。多位投资人把降Token成本、提利用率视为AI Infra新胜负手，SGLang团队RadixArk据称获1亿美元种子轮、估值4亿美元；也有反共识观点认为推理生意规模扩大后会因算法优化急剧下降，Token消耗可能压缩三个数量级。
深度见解
如果推理需求的增长被算法与软件持续压缩，按Token线性增长给出估值的算力与基建玩家将面临重新定价。