创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

八块V100方案让DeepSeek-V4.1-Flash更接近NVFP4精度

AI 总结

一名开发者公开了Volta Max uPLIft方案,可在8块Nvidia V100上运行DeepSeek-V4.1-Flash,并支持524,288 token上下文。该混合量化方案将所有路由专家保留为2-bit,同时把最常用的专家以NVFP4精度存储。按开发者实测,该方案与Nvidia完整NVFP4版本生成相同下一个token的比例为95.1%,高于2-bit版本的92.2%。代码输出速度则从160–215降至150–180 token/秒。开发者还表示,Claude Code在其指导下编写了定制内核并运行基准测试。

深度见解

该项目公开了代码、内核、测量数据和失败记录,为利用8块较老的V100在本地运行大上下文DeepSeek模型提供了具体方法。开发者报告的参考保真度提升伴随可测量的性能下降,而代码及AI辅助开发均属于开发者自己的工作。

#DeepSeek#NVIDIA#Volta Max uPLIft#Claude Code#Claude Opus 5.5#Claude Fable 5.2#NVIDIA V100#NVIDIA NVFP4

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。