创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Token、Transformer与自回归生成入门

AI 总结

这篇教程以一次 DeepSeek 对话为线索,讲解文本如何被切分为 Token、转换为 Embedding,并经由 Transformer 的 Attention 与 MLP 处理,最终成为候选 Token。文章还区分了已有输入的并行处理与新回复的逐步生成,并指出 KV Cache 可复用此前计算。文中 Token 数量和 ID 来自 DeepSeek-V4-Pro-Base 分词器,logits 与概率仅用于讲解,并非模型实测输出。

深度见解

它以具体例子串联分词、注意力、因果掩码、采样与 KV Cache,为理解大模型生成机制提供了清晰的技术基础。

你在 DeepSeek 里问:“为什么大海看起来是蓝色的?”

页面上,回复会一段一段出现,而不是等整句话都写完后一起显示。假设模型给出这样一句回答:

海水会吸收较多红光,蓝光更容易被散射回来,所以大海常呈蓝色。

这次问答会引出三个问题:模型为什么每次只生成一个 Token;输入文字怎样变成模型能计算的数值;模型生成每个 Token 时,怎样利用前面已经出现的内容。

一、模型不是一次确定整句话,而是逐个生成 Token

这句回答是构造示例;以下切分是用 DeepSeek-V4-Pro-Base 官方 Tokenizer 对这串文字实际运行的结果:

#DeepSeek#DeepSeek-V4-Pro-Base

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。