大语言模型的上下文窗口如何工作
AI 总结
一篇收录于微信公众号“愤怒的代码 AngryCode”的科普文章将上下文窗口解释为语言模型一次可处理的文本容量，并以 token 而非字数衡量。文章说明，系统指令、历史消息、当前问题、粘贴文档和正在生成的回复会共享同一空间，因此窗口接近上限时，旧信息可能被移除或压缩。文章还建议保留关键事实、总结旧对话、仅提供相关文档部分，并为模型回复预留空间。
深度见解
弄清模型当前能读取哪些信息，有助于理解长对话中的“遗忘”，并把上下文管理落实为长文档和多轮对话的实用方法。
你跟 ChatGPT 说"我叫小明"，聊了一百轮之后再问"我叫什么"，它答不上来。 不是它变笨了，是"小明"这两个字早就被挤出了它的视线。
本文收录于微信公众号：愤怒的代码 AngryCode
0x00、一句话定义
上下文窗口（Context Window）是模型在同一个时刻能"读进去并记住"的最大文本量，用 token 来衡量，而不是用字数。
它是模型的短期记忆。
你可以把它理解成一张固定大小的桌面：模型每回答一次，都要把你给的资料摊在桌面上读一遍，桌面之外的东西它一概看不见。桌面就这么大，东西太多，就得往下撤。
#ChatGPT#GPT-4o#DeepSeek#Llama 3.1#Claude#Gemini#Claude Code#OpenAI Codex#ChatGPT Memory#Multi-head Latent Attention