创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Zaggita解锁提升中国版RTX 3080预填充性能

AI 总结

一名 Reddit 用户称,Zaggita 的 GPU 性能解锁也适用于中国版 RTX 3080 20GB。其在双卡 vLLM 测试中测得预填充吞吐提升约 20.8%–28.6%,解码步数每秒则无明显变化;所谓解除 NVIDIA AI 计算限制的说法尚未得到独立确认。

深度见解

报告显示,这一消费级双卡配置在本地大模型推理的提示词处理环节获得了可观提升,但目前证据仅来自单一用户测试。

Just ran my own tests of the new GPU performance unlock by Zaggita. If you missed it: Nvidia locked down compute speed on consumer cards for some specific hardware instructions needed for AI; the unlock fixes it. TLDR: got +20% prefill impovement, 0% decode change after unlock.

Details:

Test bench: my two old 2x RTX3080 20GB, this time paired with Threadripper 1920x, both running PCIe 3.0 x16. Both GPUs power limited to 240W.

System: Proxmox 9.2.3, linux kernel 6.14.11-9-pve, proprietary Nvidia drivers 610.57.04, CUDA 13.3.

Inference: vLLM 0.32.0 running inside Debian 13 LXC container, tensor parallel mode.

Model: cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4, fp8 kv cache, MTP enabled.

#Zaggita#NVIDIA GeForce RTX 3080 20GB#vLLM#Qwen3.8#Threadripper 1920X#FlashInfer

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。