创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

TPHC结合张量并行与超连接流

AI 总结

一篇新发布的 arXiv 论文提出 TPHC,将张量并行分片与 Hyper-Connections 流结合。该方法向每个分片路由不同的残差流混合,并在写回时保持各分片输出彼此分离,从而让每条流接收不同的输出混合。作者称,这一设计不会为注意力或 FFN 子层增加参数或 FLOPs。在训练 100B tokens 的 1.1B 模型上,相比流数相同的流形约束 Hyper-Connections,TPHC 的验证损失降低 0.7–1.0%,六项常识推理基准的平均零样本准确率提高 0.3–0.7 个百分点。

深度见解

论文报告称,TPHC 能在不为注意力或 FFN 子层增加参数或 FLOPs 的情况下增强残差流更新的表达力,为张量并行环境中的 Hyper-Connections 改进提供了一种方案。

Computer Science > Computation and Language

arXiv:2611.23026 (cs)

[Submitted on 17 Nov 2026]

Title:TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates

Authors:Xinying Hu, You Wu, Haoyi Wu, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Kewei Tu

View a PDF of the paper titled TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates, by Xinying Hu and 6 other authors

#TPHC#Hyper-Connections#manifold-constrained Hyper-Connections

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。