MIT CSAIL展示大模型权重空间编程
AI 总结
MIT CSAIL研究人员提出“权重空间编程”，让大语言模型无需梯度或训练循环，即可推理并直接编辑神经网络权重。作者称，GPT-6 Astra仅修改Qwen3.5-0.8B的0.016%权重，就在相同采样设置下将MATH-500从7.9%提升至48.1%，并使IFEval增至三倍。他们还称，Astra生成的小型游戏网络表现优于经过PPO一亿步训练的网络。
深度见解
这项工作提出了一条不同于传统梯度优化的模型改进与可解释性路径，让大语言模型直接修改权重。
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
Authors
部分来源内容未展示，可前往原文继续阅读。
#MIT CSAIL#Weight-Space Programming#GPT-6 Astra#Qwen3.5-0.8B#MATH-500#IFEval#PPO