llama.cpp 分支称可在推理时实时去除模型审查
AI 总结
r/LocalLLaMA 用户 AccountAntique9327 发帖介绍 AbliteratedOutTheBox，称其是一个 llama.cpp 分支，可在推理时对加载的任意模型实时执行“去审查”（abliteration），无需微调，也无需额外文件。发帖者表示，这种做法省去了 abliteration 的麻烦，且不额外占用显存，并给出了 heterodoxin 名下的 GitHub 仓库链接。上述能力均来自这一条自述帖，尚未获得独立验证。
深度见解
该帖声称可在推理时修改模型行为，无需微调或额外显存，但这一能力尚未获得独立验证。
AbliteratedOutTheBox is a llama.cpp fork that abliterates any model you load, live at inference, with no fine-tuning and no extra files.
This eliminates any hassle of abliteration without requiring any more vram.