创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Berth v0.3 发布:引擎驻留内存加速显卡切换

AI 总结

Berth 是一款系统服务,其开发者在 r/LocalLLaMA 帖子中称,它会监控显卡并按需换入、加载用户想要的引擎,使显存完全服务于当前运行的功能,无需手动切换,也不会被残留进程占用。开发者已发布 v0.3,改为把引擎驻留在系统内存中而不是卸载,这样切回已驻留引擎时可跳过从磁盘重新加载。开发者正在征集测试者,要求具备 64、96 或 128 GB 内存配 24 GB 显卡、多 GPU 机器、Windows 加 NVIDIA 显卡,以及 Linux 上的 AMD 环境,并说明自己 62 GB 的工作站因 Strata 单独就占用 40 GB,无法测量更大规模下的驻留效果。

深度见解

开发者表示自己 62 GB 的工作站无法测量其他用户所用规模下的驻留表现,因此 v0.3 的内存驻留方案在其自身环境之外仍未得到验证。

#Berth#ComfyUI#OpenWebUI#llama-swap#vLLM#Strata

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。