创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

单张B200实现4位GPT训练加速

AI 总结

VizuaraAI作者报告称,在单张Nvidia B200上采用NVFP4前向、结合随机舍入的FP8反向以及高精度主权重,可端到端训练GPT模型。840M参数模型执行2,000步约需4.3分钟,而BF16约需5.5分钟;两者最终验证损失分别为1.691和1.688。作者报告的单步加速幅度从219M模型的18%增至3.3B模型的38%,但最大规模实验只运行了1,000步。

深度见解

该实验在单卡环境下检验了端到端低精度GPT训练,显示小型TinyStories模型在验证损失与BF16相近的同时获得更快训练速度。

Thinking Machines wrote last week that Inkling 2 Small was trained with a native 4-bit forward pass. I wanted to check this for myself. What I ran: Results: Two things to improve: Not tested: multiple GPUs, MoE dispatch and combine, Four Over Six, MXFP8 block scales in the backward pass. The width-8,192 run is only 1,000 steps and undertrained. Write-up with every figure: https://4bit.vizuara.ai Code: https://github.com/VizuaraAI/4bit-training-b200 3-hour walkthrough from first principles, if you want the theory: https://youtu.be/a3nV32Guxcc submitted by /u/OtherRaisin3426 [link] [comments]

#Nvidia B200#NVFP4#FP8#BF16#TinyStories#PyTorch 2.8#cuBLASLt#Modal#VizuaraAI

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。