Trillium 创始人:RSI 被夸大,蒸馏禁不了
AI 总结
在 a16z 播客中,Trillium 创始人 Nathan Lambert 与 a16z 合伙人李丽莎对谈,质疑业界对递归自我改进(RSI)的炒作,认为其真相介于营销与恐惧之间,他更担心的是前沿实验室自身尚未加固的基础设施。他把模型进步归结为算力、数据、人才三项投入,认为中国实验室并不缺人才、真正被卡住的是算力,因此把开放权重模型当作进入行业视野与市场的务实路径,并以 Moonshot AI、智谱为例。他还表示,依据现有公开研究很难相信蒸馏是决定性因素,对禁止蒸馏的做法持怀疑态度,认为伤害会大于收益;他称 Trillium 将公开用于监督微调与中期训练的开源技术栈、任务设置和实验轨迹,让外界检验 RSI 究竟走到了哪一步。
深度见解
围绕 RSI 与开源闭源差距的争论中,来自一线研究者的务实评估有助于把讨论从“智能起飞”拉回到算力、数据与工程效率等更可验证的因素。