创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

大模型推理与 FlashDecoding 教程

AI 总结

这篇掘金 AI 教程从提示词预填充和 KV 缓存讲起,逐步解释 Transformer 的逐 token 解码、注意力、归一化、残差、FFN 与 LM head 采样流程,并纠正使用 V 而非 K 打分、拼接而非加权合并 K/V 分段结果等误解。文中将 FlashDecoding 定位为解码阶段的注意力优化,声称其可保持注意力输出不变,但没有提供独立性能基准。

深度见解

该来源以纠错清单梳理了大模型推理链路,并明确了 FlashDecoding 在流程中的位置,但未推出新模型、实现或实测结果。

2026-11-12 问答整理。不绑定具体框架,只讲模型本身怎么从「输入」走到「输出一个字」。 主线按单头讲(先把多头放一边),真实多头差异放在最后一节。 记号约定:不用字母 O(期间专门确认过它是数字 0 还是字母 O —— 答案是大写字母 O,取自 Output,不是数字 0),统一写「输出向量」。Q / K / V 保留。 为了数字能一路跟到底,用一个简化模型:向量宽度 128、共 4 层、词表 5 万。真实 Qwen3-0.6B 是 1024 宽 / 128 每头 / 28 层 / 词表 151936,流程完全一样。

同期我还把这套内容整理成了一篇更体系化的教程(含 9 张图解和完整纠错清单),可配合食用:《FlashDecoding 零基础学习总结:从 attention 三段式到 split-KV 合并》


全景(一段话先把路铺好)

把 prompt 的所有 token 一次性加载进 transformer → 一次算出全部 QKV、把 KV 存进 block(KV cache)→ 产出第一个字 → 进入 decode,一个字一个字往外吐 → 每一轮:新字查 embedding 表得到输入向量 → 过 4 层(每层都做一次 attention + FFN + 两次残差)→ 最后一层得到最终状态向量 → 跟词表矩阵相乘得到 5 万个分数 → softmax 变成概率 → top-k 抽样或取最高分 → 得到 1 个 token id → 输出这个字 → 这个 id 再查 embedding 表,进入下一轮 decode。

#FlashDecoding#Qwen3-0.6B#Transformer

原文约 18 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。