创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

TensorFold 为 Apple Silicon 和 NVIDIA GPU 提供原生大模型推理

AI 总结

ashhart/TensorFold 项目将自己描述为支持 Metal、CUDA 和 Vulkan 的原生大语言模型推理引擎。项目文档称,其 Zig 二进制程序可在 Apple Silicon 和 NVIDIA GPU 上提供语言模型服务,直接读取检查点、处理分词请求并运行 Metal 或 CUDA 内核,且无需安装 Python 或 MLX。现有材料没有提供独立性能基准测试,除项目标题中的声称外,也没有具体说明 Vulkan 实现。

深度见解

TensorFold 可能为 Apple 和 NVIDIA 硬件上的本地大模型服务提供一种更原生的部署选择,无需安装 Python 或 MLX。不过,这些功能来自项目自身文档,尚未经过独立测试,其 Vulkan 支持也未得到验证。

LLM Inference Engine for Metal, CUDA and Vulkan.

link

https://tensorfold.dev


TensorFold

TensorFold serves language models from a Zig binary on Apple Silicon and NVIDIA GPUs. The engine reads checkpoints, tokenizes requests and runs Metal or CUDA kernels directly. Serving needs no Python or MLX installation.

部分来源内容未展示,可前往原文继续阅读。

#TensorFold#Apple#NVIDIA#Metal#CUDA#Vulkan#Zig#Qwen3.5-2B

原文约 23 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。