Ai2发布长上下文状态追踪基准
AI 总结
Ai2推出StateBench，并通过数据和代码评测语言模型在长文档中追踪实体状态变化的能力。该基准包含四个难度等级；Ai2称，直接训练的递归和混合模型泛化距离超过Transformer，而Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol和GPT-6 Luna在输入变长后仍难以完成更难任务。
深度见解
StateBench可帮助定位长上下文模型追踪动态信息时的失效点，并比较递归、混合与Transformer架构的能力差异。
StateBench: Testing how language models track state changes over long documents
November 3, 2026
Ai2
We’re introducing StateBench, a benchmark for long-context state tracking—how well language models keep track of information about entities in long documents as they evolve.
#StateBench#Ai2#Gated DeltaNet#Olmo 3#Olmo Hybrid#Gemini 3.8 Flash#Claude Opus 5.5#GPT-6 Sol#GPT-6 Luna