Reddit 用户报告 DeepSeek V4.1 Flash 本地推理速度
AI 总结
Reddit 用户 u/DeMischi 称，使用 Strata 运行 DeepSeek V4.1 Flash，在 8K 上下文下速度达到每秒 10 个 token。测试环境包括 RTX 5090、64GB DDR5 内存、Lexar 4TB NVMe 硬盘和 Windows 10。该用户表示模型成功运行，但按这一速度，使用 API 比支付本地推理所需的电费更便宜。
深度见解
这一报告为评估 DeepSeek 本地推理提供了一个特定硬件配置下的数据点，但结果仅来自一名 Reddit 用户，并非受控基准测试。
| https://preview.redd.it/6ty7xuyjyfxh1.png?width=721&format=png&auto=webp&s=ee2bbd9530cf60f1dd80444e646a179a54f1d1cb Ran it on my RTX 5090 with Lexar 4TB NVMe and 64 GB of DDR5 Ram. At this speed it is cheaper to use the API than to pay the electricity for this, unfortunately. So if anyone is wondering what the speed is for a similar setup, there you have it. But anyway, i am excited that it runs at all on my PC at all. Edit: I am on Windows 10 submitted by /u/DeMischi [link] [comments] |
#DeepSeek V4.1 Flash#Strata#RTX 5090#Lexar 4TB NVMe#Windows 10