Reddit 用户提出 Gemma 5 架构建议
AI 总结
一名 Reddit 用户分享了对未来 Gemma 模型的建议，包括采用循环 Transformer、DeepSeek Engram、继续使用 4 位量化以及采用更高效的注意力机制。帖子还建议推出约 120B 的 MoE 模型、改进 drafter 模型、为视觉和音频采用线性投影，并停止为小模型使用 2 位量化。这些都是社区提案，并非 Google 公告；原帖没有提供 Gemma 5 的实现或基准测试结果。
深度见解
该提案列出了一名用户对 Gemma 架构、量化和部署方向的优先考虑，也表明这些想法尚未被列为 Google 已确认的开发计划。
| Recently Omar Sanseviero asked for suggestions on Twitter for future Gemma models. Here is my take on this: What do you all think? Feel free to comment your opinion down below. submitted by /u/Paramecium_caudatum_ [link] [comments] |
#Gemma 5#DeepSeek Engram#Compressed Sparse Attention 2#Qwen 3.5#DSpark#DFlash 2#EAGLE-4