vLLM rc2修复gfx950的AITER GEMM问题
AI 总结
vLLM v0.33.0rc2包含一项ROCm修复,在gfx950上M*N至少为2^31时跳过AITER tuned GEMM。发布说明称,该改动从提交6d01893中挑选而来。
深度见解
这项针对ROCm的修复可避免gfx950在超大矩阵维度下调用AITER tuned GEMM,解决该平台上的特定执行问题。
Signed-off-by: Micah Williamson [email protected] (cherry picked from commit 6d01893)