TPHC结合张量并行与超连接流
AI 总结
一篇新发布的 arXiv 论文提出 TPHC,将张量并行分片与 Hyper-Connections 流结合。该方法向每个分片路由不同的残差流混合,并在写回时保持各分片输出彼此分离,从而让每条流接收不同的输出混合。作者称,这一设计不会为注意力或 FFN 子层增加参数或 FLOPs。在训练 100B tokens 的 1.1B 模型上,相比流数相同的流形约束 Hyper-Connections,TPHC 的验证损失降低 0.7–1.0%,六项常识推理基准的平均零样本准确率提高 0.3–0.7 个百分点。
深度见解
论文报告称,TPHC 能在不为注意力或 FFN 子层增加参数或 FLOPs 的情况下增强残差流更新的表达力,为张量并行环境中的 Hyper-Connections 改进提供了一种方案。
Computer Science > Computation and Language
arXiv:2611.23026 (cs)
[Submitted on 17 Nov 2026]
Title:TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates
Authors:Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu
View a PDF of the paper titled TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates, by Xinying Hu and 6 other authors
#TPHC#Hyper-Connections#manifold-constrained Hyper-Connections