Berth v0.3 发布:引擎驻留内存加速显卡切换
AI 总结
Berth 是一款系统服务,其开发者在 r/LocalLLaMA 帖子中称,它会监控显卡并按需换入、加载用户想要的引擎,使显存完全服务于当前运行的功能,无需手动切换,也不会被残留进程占用。开发者已发布 v0.3,改为把引擎驻留在系统内存中而不是卸载,这样切回已驻留引擎时可跳过从磁盘重新加载。开发者正在征集测试者,要求具备 64、96 或 128 GB 内存配 24 GB 显卡、多 GPU 机器、Windows 加 NVIDIA 显卡,以及 Linux 上的 AMD 环境,并说明自己 62 GB 的工作站因 Strata 单独就占用 40 GB,无法测量更大规模下的驻留效果。
深度见解
开发者表示自己 62 GB 的工作站无法测量其他用户所用规模下的驻留表现,因此 v0.3 的内存驻留方案在其自身环境之外仍未得到验证。