Delta Inference Engine v0.93 更新本地推理能力
AI 总结
开发者发布 Delta Inference Engine v0.93,新增对 64、96 和 128 GB 内存、Unsloth 量化格式、EXL3 及基础多 GPU 配置的支持。在一套配备 RTX 3090 的 Windows 测试系统中,Unsloth UD-IQ2_XXS 配置在 192 GB 内存下达到开发者报告的每秒 41 个 token,并在其 99 题基准中答对 57 题,高于此前默认量化的 52 题,但仍低于完整模型 API 的 59 题。此次更新还加入公开 CI 构建、提示处理加速及长上下文等修复。
深度见解
该版本扩展了本地运行 DeepSeek-V4.1-Flash 的硬件和量化选择,但其性能与质量数据仅来自一套开发者测试系统,仍需在其他硬件上验证。
#Delta Inference Engine v0.93#DeepSeek-V4.1-Flash-1017#Unsloth#EXL3#Strata#Xolotl#Project Maya#GitHub Actions