创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Strata让12GB显存运行125B模型

AI 总结

开发者 Niko1221 开源了 Strata 引擎,据报道可在至少配备 12GB 显存的消费级显卡上运行量化版 Qwen3.8-Flash-Next,该模型拥有 1250 亿参数。Strata 将 MoE 模型置于系统内存,仅把常用专家载入显存,并通过轻量模型进行投机解码;报道称其在 RTX 5070 上运行 2 比特量化版本时达到每秒 94 个词元。

深度见解

它可能降低本地运行超大开放模型的硬件门槛,但性能数据仍来自报道中的特定配置。

IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。

IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生支持 262K token 上下文长度。

Strata 为了降低显存占用,主要采用两项关键技术:其一是将 MoE(混合专家)模型整体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型进行投机解码,预测下一 Token 以加速推理过程。

#Strata#Niko1221#Qwen3.8-Flash-Next#Qwen#Alibaba#NVIDIA GeForce RTX 5070#AMD Radeon RX 9070 XT

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。