创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

llm-d 1.0新增面向智能体工作流的生产推理能力

AI 总结

llm-d 1.0新增多租户资源管理、请求优先级调度、高可用、滚动升级和面向智能体工作流的会话感知路由。IBM Research的一项基准测试通过llm-d部署约7530亿参数模型,最多支持3000个并发编码智能体,峰值输出吞吐超过每分钟660万Token。Red Hat AI 3.5还加入了治理能力;IBM与红帽联合披露,Lightwell Clearinghouse已进入全面可用阶段。

深度见解

此次更新旨在满足大规模推理的生产环境需求,包括并发智能体工作负载、多租户资源管理和运行可靠性。报道同时指出,这些能力在真实生产环境中的实际收益仍需进一步验证。

“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO转头就问CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地AI时经常遇到的一个困境。

对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着GPU适配、推理服务、数据接口和业务流程,前一套系统刚刚跑顺,新模型就来了,企业既不想错过技术进步,也不愿意为此重新搭建整套环境。

Agent的出现又带来了另一层压力。当智能体开始接入企业内部系统,能够访问什么数据、执行哪些操作,就成了必须明确的问题。如果缺乏有效的权限约束,Agent为了完成任务,甚至可能直接删除生产数据库。

#llm-d#Red Hat AI 3.5#Lightwell#Lightwell Clearinghouse#IBM Research#Red Hat#IBM#NVIDIA#Intel#AMD#MetaX#EvalHub

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。