NVIDIA与光锥智能探讨企业AI的Token经济账
在光锥智能撰写、获钛媒体授权发布的对话中,NVIDIA赖俊杰与光锥智能创始人王一粟探讨企业如何超越GPU和数据中心投入等指标衡量AI投资。NVIDIA将Token经济学概括为价值、需求、供给和变现四个方面。双方提出三层衡量框架:包括任务完成和业务回报等业务结果,自动化率和返工率等流程效率,以及每百万Token成本、延迟和吞吐量等基础设施指标。报道还引用了归属于国家数据局的中国日均Token调用量数据,并提到一个未具名超市连锁案例。该文章称,超市使用AI谈判供应商合同后,成本节省3%、投资回报率达到4倍,付款账期延长35天。
这场对话提供了一个把Token消耗和基础设施效率与流程及业务结果相连接的企业衡量框架,并通过供应商谈判案例将AI应用与成本、回报和付款账期等结果联系起来。
(本文作者为 光锥智能,钛媒体经授权发布)
文 | 光锥智能,作者|罗镇昊,编辑|刘俊宏
过去两年,企业里听到最多的声音是 “我要上AI”,但AI具体用来干什么、用得效果怎么样,很多人并没有感知。太多企业选择“先用起来再说”,直到某一天,一张天价Token账单突然爆出来,才发现这笔投入根本算不清。
但也有企业把这笔账算得清清楚楚:一家超市连锁巨头用 AI去谈供应商合同,成本节省了3%,ROI达到4倍,付款账期还延长了35天……
对企业应用来说,到底怎么能把 AI的账算明白,正变得前所未有地重要。
过去两年, AI行业最容易被看见的变化,是模型越来越大、算力越来越强,但进入智能体和企业级应用阶段之后,企业开始面对一个更现实的问题:花出去的算力和Token,究竟换回了什么?
#NVIDIA#Lightcone AI#TensorRT-LLM#NVIDIA Dynamo#vLLM#Hugging Face