创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Cola2将视频扩散方法用于语言建模

AI 总结

字节Seed团队曾妍带队发表Cola2论文,利用连续隐空间和受视频生成启发的扩散方法生成文本。论文称,该模型使用约3460亿个token训练,在8项任务上平均得分60.10,但尚未收敛,仍需更多数据与算力;钛媒体将其与字节超大参数模型方向联系起来,但所谓“10万亿”路线图及相关人事说法未获正式确认。

深度见解

Cola2为语言建模提供了区别于主流自回归方法的探索路径,也呈现了字节Seed所报道的大规模扩散路线,但论文明确表示训练远未收敛。

(本文作者为 字母AI,钛媒体经授权发布)

文 | 字母AI

95后的曾妍,正在快速晋升。

曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。

如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾妍从原Seed核心负责人周畅手中,接过了越来越多的工作。

在人才密度极高的字节Seed团队,这样的速度并不多见。

#Cola2#ByteDance#ByteDance Seed#Seedance#Seedance 2.0#Seedream 5.0 Lite#Hugging Face#Llama-3-8B

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。