创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

vLLM v0.34.0rc1修复XPU推测解码NaN处理

AI 总结

vLLM发布报告显示,v0.34.0rc1标签对应提交52aeb58,于11月11日19时37分打标。可见发布说明列出一项针对XPU推测解码的缺陷修复,将greedy_argmax改为把NaN视为负无穷;不过标题被截断,页面也显示加载错误。

深度见解

该版本包含一项针对XPU推测解码中greedy_argmax的定向正确性修复,处理了NaN值的处理方式。

v0.34.0rc1

v0.34.0rc1

@taneem-ibrahim

taneem-ibrahim tagged this 11 Nov 19:37

#vLLM

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。