创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Strata EXL3 AMD分支提速并支持MiMo

AI 总结

开发者nasone32发布了Strata EXL3的AMD分支更新,通过改进HIP内核和内存管理,报告平均解码性能提升10%–20%,部分测试接近24%。更新还加入可选的CPU侧专家重打包,以及实验性的MiMo V2.6 Flash支持;开发者称后者在两张Radeon RX 7900 XTX上达到约25–30 tokens/s。测试环境为Linux和ROCm下的RDNA3硬件,目前该分支仍主要在这些平台上开发和验证。

深度见解

此次更新可能让消费级AMD设备更高效地运行高质量EXL3量化模型,实验性的MiMo支持则将这一分支扩展到更大的模型。

A quick update on my Strata EXL3 fork for AMD.

I've been working on the HIP kernels and memory management, and decode performance is now roughly 10-20% higher than the previous version, depending on the quant and workload. Some cases improved by almost 24%.

The other news is that I managed to get MiMo V2.6 Flash running at around 25-30 tokens/s with 2 cards.. More on that below.

First, why EXL3?

I think this is worth repeating because people tend to compare quantizations just by looking at the number of bits.

EXL3 is NOT equivalent to regular GGUF quants at the same bpw.

#Strata#EXL3#MiMo V2.6 Flash#Qwen3.8-Flash-Next#AMD#ExLlamaV3#Radeon RX 7900 XTX

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。