创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Strata 0.2.10面向8GB显存设备优化长上下文推理

AI 总结

开源本地AI工具Strata 0.2.10引入显存感知分配机制,可缩减GPU内驻留的KV缓存窗口,并在必要时将部分缓存数据卸载至系统内存或硬盘。开发者称,该版本可在8GB显存设备上以128K上下文启动Qwen3.8IQ3_S,并将DFlash2设为单请求场景的默认推测解码器。新版还加入All-cards Split Engine多卡联合分割引擎、ISTA-DAS Coder编程模型,以及智能体和界面功能修复。开发者测试显示,在8GB显存限制下生成速度为63至73 Token/s,在配备8GB显存的英特尔Arc A750上以128K上下文运行时为12.7至14.8 Token/s;报道同时指出,卸载会把资源压力转移至系统内存,并建议至少配置32GB内存。

深度见解

该版本直接针对本地长上下文模型面临的内存限制,通过KV缓存卸载、占用更低的推测解码器和多GPU协作来改善资源分配。

开源本地 AI 工具Strata近日正式迎来了0.2.10版本更新。作为一款专为消费级显卡设计的本地大模型运行神器,本次更新在降低显存门槛、提升推理速度以及优化多显卡协同方面带来了突破性进展,让普通电脑运行千亿参数大模型变得更加轻松。

显存大幅瘦身:8GB 显卡如何玩转128K 超长上下文?

在以往的本地运行场景中,如果用户尝试在8GB 显存的设备上开启64K 甚至更高的上下文,往往会因为专家缓存空间耗尽而直接导致启动失败,甚至不得不妥协降至48K 左右。

而在 Strata0.2.10中,官方优化了底层资源分配机制:当显存不足时,系统会优先动态调整显存与内存之间的数据分配,尽最大可能保留用户设置的上下文长度。这意味着,用户现在完全可以在8GB 显存的设备上成功启动 Qwen3.8IQ3_S 等大模型,并维持高达128K(即131,072Token)的超长上下文。

其核心原理在于,Strata 会根据实时显存余量自动缩减驻留在 GPU 中的 KV 缓存窗口,必要时还会将部分缓存平摊至系统内存或硬盘。官方测试数据显示,在8GB 显存限制下开启 DFlash2模式时,生成速度可达63至73Token/s;即便是使用英特尔 Arc A7508GB 真实显卡,也能顺利启动128K 上下文并保持12.7至14.8Token/s 的生成速度。

#Strata#DFlash2#MTP#All-cards Split Engine#ISTA-DAS Coder#DeepSeek-V4.1-Flash#Qwen3.8IQ3_S#Claude Code#Intel Arc A750#NVIDIA RTX A6000

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。