谷歌据报修复 Gemma 4 分词器乱码问题
AI 总结
一名 Reddit 用户称,谷歌近期更新了小型 Gemma 4 模型的分词器,以修复遇到特定 token 时输出无意义内容的问题。发帖者表示,同一修复已应用于 Gemma 4 E4B、E2B 和 12B,但该修复是否会同步到 GGUF 版本仍不确定。
深度见解
据报道,这项分词器修复解决了三个小型 Gemma 4 变体的输出质量问题,但目前尚无独立确认。
| Gemma 4 E4B as an example, but the same fix was applied to E2B and 12B too. Not sure if this will trickle down to GGUFs submitted by /u/TuskNaPrezydenta2020 [link] [comments] |