创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kapitsa 0.2 发布 KFlash 推测解码

AI 总结

开源苹果芯片推理引擎 Kapitsa 发布 0.2 版本,推出开发者称为 KFlash 的新推测解码方法,消息发布在 r/LocalLLaMA 社区。KFlash 在一次前向中检查草稿模型候选 token 的最佳优先树,而用于对比的 DFlash2 只检查单条链并在首个错误猜测处停止。据开发者自测,在 48GB 的 MacBook Pro M4 Pro 上,Kapitsa 在 Qwen3.8 27B 上达到 63 tokens/s,Splash 1.4.0(DFlash2)为 53 tokens/s;在 16GB M1 Pro 上运行 Qwen3.5 4B 时为 95 对 62 tokens/s。作者提醒读者不要轻信跑分,应自行测试。

深度见解

该帖子在消费级 Mac 上横向对比了多种本地推理引擎的推测解码方案,但作者明确说明数据为自测,需独立复现。

#Kapitsa#Nace.AI#Inco#Splash#Qwen#MLX#Ollama#llama.cpp#LM Studio#NVIDIA#DeepSeek

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。