创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Delta Inference Engine v0.93 更新本地推理能力

AI 总结

开发者发布 Delta Inference Engine v0.93,新增对 64、96 和 128 GB 内存、Unsloth 量化格式、EXL3 及基础多 GPU 配置的支持。在一套配备 RTX 3090 的 Windows 测试系统中,Unsloth UD-IQ2_XXS 配置在 192 GB 内存下达到开发者报告的每秒 41 个 token,并在其 99 题基准中答对 57 题,高于此前默认量化的 52 题,但仍低于完整模型 API 的 59 题。此次更新还加入公开 CI 构建、提示处理加速及长上下文等修复。

深度见解

该版本扩展了本地运行 DeepSeek-V4.1-Flash 的硬件和量化选择,但其性能与质量数据仅来自一套开发者测试系统,仍需在其他硬件上验证。

#Delta Inference Engine v0.93#DeepSeek-V4.1-Flash-1017#Unsloth#EXL3#Strata#Xolotl#Project Maya#GitHub Actions

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。