Reddit用户报告LFM3-1.7B本地推理结果
AI 总结
一名Reddit用户使用Q8_0 GGUF、llama.cpp和ROCm测试Liquid的LFM3-1.7B，称其在Strix Halo核显上达到4.1k token/s预填充和约78 token/s解码。将模型跨Radeon RX 7900 XTX与一台未明确型号的“XT”设备进行张量切分后，该用户报告约7.1k token/s预填充和151 token/s解码。他表示，在32k至64k-token的提示长度下，LFM3-1.7B比一个1.7B模型连贯得多。
深度见解
该帖提供了LFM3-1.7B本地推理的具体社区数据，并将该模型描述为压缩和摘要工作的候选方案；但内容来自单一用户，并非有完整记录的比较基准。
Been testing Liquid's LFM3-1.7B (Q8_0 GGUF, llama.cpp, ROCm) as a candidate for compression and summarization work
4.1k t/s prefill and ~78 t/s decode on a Strix Halo iGPU
~7.1k / ~151 if you tensor-split it across a 7900 XTX + XT
its way more coherent at decent sized prompts (32k-64k) then 1.7b deserves to be imo
submitted by /u/mumblerit [link] [comments]
#Liquid AI#LFM3-1.7B#llama.cpp#ROCm#Strix Halo#Radeon RX 7900 XTX