Token、Transformer与自回归生成入门
AI 总结
这篇教程以一次 DeepSeek 对话为线索,讲解文本如何被切分为 Token、转换为 Embedding,并经由 Transformer 的 Attention 与 MLP 处理,最终成为候选 Token。文章还区分了已有输入的并行处理与新回复的逐步生成,并指出 KV Cache 可复用此前计算。文中 Token 数量和 ID 来自 DeepSeek-V4-Pro-Base 分词器,logits 与概率仅用于讲解,并非模型实测输出。
深度见解
它以具体例子串联分词、注意力、因果掩码、采样与 KV Cache,为理解大模型生成机制提供了清晰的技术基础。
你在 DeepSeek 里问:“为什么大海看起来是蓝色的?”
页面上,回复会一段一段出现,而不是等整句话都写完后一起显示。假设模型给出这样一句回答:
海水会吸收较多红光,蓝光更容易被散射回来,所以大海常呈蓝色。
这次问答会引出三个问题:模型为什么每次只生成一个 Token;输入文字怎样变成模型能计算的数值;模型生成每个 Token 时,怎样利用前面已经出现的内容。
一、模型不是一次确定整句话,而是逐个生成 Token
这句回答是构造示例;以下切分是用 DeepSeek-V4-Pro-Base 官方 Tokenizer 对这串文字实际运行的结果: