创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Embedl int4 GEMM 跑 Gemma 4 提速 2.43 倍

AI 总结

Embedl 开发者称,其自研 int4-by-int4 WMMA GEMM 在 Ryzen AI Max+ 395 上运行 Gemma 4 31B 时,速度达到 llama.cpp 的 2.43 倍,测得该指令吞吐率为 104 TOPS。相同测试设置下,其提示处理结果为 679 和 724,而 llama.cpp 分别为 287 和 276;GSM8K、IFEval 和 MMLU-Pro 得分也保持接近。该实现采用 int4 权重和激活、rotation、GPTQ 及选择性混合精度。

深度见解

测试结果表明,利用 AMD Strix Halo 的 int4 WMMA 指令可能在不牺牲已评测质量的情况下显著加快 Gemma 4 本地推理。

The 8060S has an int4 x int4 WMMA instruction at 2x the FP16 rate (we measured 104 TOPS). Nothing in ROCm or llama.cpp uses it. We wrote a GEMM for it and run Gemma 4 with int4 weights and int4 activations. To maintain accuracy we use a combination of rotation and GPTQ, along with selective mixed precision. llama-bench, Gemma 4 31B QAT Q4_0 (llama.cpp b11056 Vulkan, -fa 1). Server benchmark, 2k-token prompts, greedy, single stream: Full test sets, same settings, 31B: Run it: curl -fsSL https://embedl.com/install.sh | sh && export PATH="$HOME/.local/bin:$PATH" embedl login embedl serve google/gemma-4-31B-it/ryzen-ai-max-395 -d embedl infer google/gemma-4-31B-it/ryzen-ai-max-395 --prompt "Explain mixture-of-experts in one sentence." embedl bench google/gemma-4-31B-it/ryzen-ai-max-395 12B, E4B and E2B are up too (2.80x / 1.58x / 1.39x end to end, in the chart). Swap the name, e.g. google/gemma-4-12B-it/ryzen-ai-max-395. Model, methodology, and more: https://www.embedl.com/google/gemma-4-31B-it/ryzen-ai-max-395 submitted by /u/No-Dragonfly6246 [link] [comments]

#Embedl#Gemma 4 31B#llama.cpp#ROCm#AMD Ryzen AI Max+ 395#AMD Strix Halo

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。