Ai2 发布 COLM 2026 开放研究成果
AI 总结
Ai2 在会上分享了多项开放研究，涵盖模型架构与科学智能体。论文《Olmo Hybrid: From Theory to Practice and Back》显示，把注意力与线性循环层结合，可在 MMLU 上以比 Olmo 3 7B 少 49% 的训练 token 达到相同准确率，这一方向正影响采用混合专家（MoE）架构、目前处于预训练阶段的新一代 Olmo。Ai2 还提前发布了用于训练大型 MoE 模型的 Olmo-core 3，并介绍了开放权重模型 AstaBrief，它可依据研究问题与检索到的文献生成带引用的报告；其关于让语言模型直接处理字节的 Bolmo 论文在会议期间发表于 Nature，并同步释出更多 checkpoint。
深度见解
Ai2 以非营利身份公开模型、数据与训练代码，为外部研究者复现和改进大模型效率路线提供了可验证的材料。