创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

llama.cpp 支持 Xing4.0-29B-A4B,GGUF 版本现身

AI 总结

llama.cpp 的拉取请求为 Xing4.0-29B-A4B 增加支持;这是一款总参数 29B、每 Token 激活 4B 参数的 MoE 模型。后续报道指向一个 Hugging Face GGUF 版本;模型说明还宣称支持原生 256K 上下文、基于 Ascend 训练、具备智能体功能,并使训练吞吐量提升约 96%,但这些信息尚无独立验证。

深度见解

据报道,llama.cpp 集成和 GGUF 版本可能让这款新 MoE 模型更便于本地部署,但实现质量及厂商基准数据仍未得到独立验证。

Xing4.0-29B-A4B is a next-generation large language model in the Xing series (formerly TeleChat), developed by China Telecom Artificial Intelligence Technology Co., Ltd. With 29B total parameters and only 4B activated per token, it natively supports a 256K context length, extensible to 512K. It is the first model of this scale trained entirely on the Ascend NPU platform with the MindSpore framework, and deeply optimized for complex engineering tasks. For more information, please refer to our GitHub repository. Highlights submitted by /u/jacek2023 [link] [comments]

#Xing4.0-29B-A4B#llama.cpp#China Telecom Artificial Intelligence Technology Co., Ltd.#MindSpore#MindFormers#Ascend 910C#Hugging Face#XingChen-AGI_Xing4.0-29B-A4B-GGUF

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。