创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Reddit用户称Nemotron 3.5 Bolt E4B在Jetson Orin Nano Super上达到27.7 tok/s

AI 总结

一名Reddit用户称,NVIDIA的Nemotron 3.5 Bolt E4B在Jetson Orin Nano Super上达到27.7 tokens/s,而所述官方llama.cpp版本结果为15 tok/s。发帖者还提供了该模型的托管访问,以及支持int4量化的本地TensorRT引擎。测速结果、比较结论及其编写游戏的主张均来自单一社区报告,尚无独立佐证。

深度见解

该报告提出了Nemotron 3.5 Bolt E4B在Jetson Orin Nano Super上的边缘推理速度优势,并提供了int4 TensorRT引擎。测速结果和比较尚未得到独立验证,且现有报告不能证明该引擎能够复现完全相同的基准配置。

Hi! I wanted to share that we just got NVIDIA's latest Nemotron Bolt model running at 27.7 tok/s (compared to 15 tok/s on the official release with Llama CPP) on Jetson Orin Nano Super (1.8x faster)! It can program games on a model running completely on a cheap edge device! We have our own Jetson devices serving that model on our website, if you want to get a feel for how the model runs on the device here or run it locally as a TensorRT engine with our own variant of TensorRT edge LLM supporting int4 quantization: https://embedl.com/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16/orin-nano-super?tab=run submitted by /u/Any_Frame9721 [link] [comments]

#NVIDIA#Nemotron 3.5 Bolt E4B#Jetson Orin Nano Super#TensorRT#TensorRT Edge-LLM#llama.cpp

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。