Heretic 自动消融语言模型拒答行为
AI 总结
Heretic 是一款开源命令行工具，通过方向消融处理 Transformer 语言模型，并结合由 Optuna 提供支持的 TPE 参数优化器。项目称其会同时降低拒答数量和相对原模型的 KL 散度，并支持大多数稠密模型、许多多模态与 MoE 架构，以及 Qwen3.5 等部分混合模型。作者报告称，自动生成的 Gemma 3 12B 变体在 100 个有害提示中拒答 3 次，KL 散度为 0.16，同时提醒自动指标不能替代人工评估，结果也可能因平台和硬件而异。
深度见解
Heretic 提供了自动消融拒答行为并衡量原模型变化的完整开源流程，用户无需理解 Transformer 内部机制也能运行。
Training-free language model modification: Remove censorship, suppress slop, reduce sycophancy, and more
Heretic
Training-free language model modification
Remove censorship, suppress slop, reduce sycophancy, and more. All in an afternoon, on your gaming PC.
#Heretic#Optuna#Gemma 3 12B IT#Qwen3 4B Instruct 2507#PyTorch