PAR 用进度对齐训练循环模型，报告16倍长度外推
AI 总结
10月20日提交到 arXiv 的论文提出 Progress-Aligned Recurrence（PAR）：训练第 k 次迭代的预测去匹配前 k 步操作后的状态，并把循环状态重新缩放到第一次迭代的范数。在 swap-S5 状态跟踪任务上，仅用最多32步训练数据的 Qwen2.5-0.5B 模型在512步时平均全状态准确率达到95.5%，即训练长度的16倍，而同一骨干网络下 RLT 报告为55.7%，显式思维链为0.8%。消融实验显示，去掉范数锚定会让外推倍数从16倍降到2.2倍以下，用最终答案监督替换进度对齐目标则最多降至8倍；一个可学习的完成读出模块在没有给定停止深度时自行决定何时作答。
深度见解
作者认为，正是把中间预测与循环状态尺度放在一起训练，才让额外的循环深度对更长的问题真正有用，而不是仅在测试时多跑几次迭代。
Computer Science > Computation and Language
arXiv:2610.27628 (cs)
[Submitted on 20 Oct 2026]
Title:PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
Authors:Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, Zimi Liu, Zhihao Wen, Jianshe Li, Jiang-Ming Yang, Wei Wu, Yongqi Tong
View a PDF of the paper titled PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking, by Pan Wang and 10 other authors