Dell与Intel:token预算耗尽,企业回流本地推理
AI 总结
在Dell举办的“AI Leadership Symposium”上,Dell的Helen O'Sullivan与Intel的Tim Wood对theCUBE表示,随着智能体工作负载增多,部分客户在数周内就耗尽了原本为数月准备的token预算。他们称,这种成本压力正让企业重新考虑推理放在哪里运行,在继续使用云端前沿模型的同时,让开放权重模型和本地基础设施分担部分负载。两人还表示Intel的智能体AI架构覆盖编排、推理与边缘计算,并建议企业利用数据中心现有CPU的余量,先在沙盒环境中测试开放权重模型再决定生产部署。
深度见解
如果token开销持续超出预算,企业的AI部署可能会在云端与本地之间重新分配,并带动对CPU资源和开放权重模型的关注。