Appearance
第 6 章：上下文窗口——开卷考试的桌面
6.1 模型有"记忆",但桌子就这么大
想象一场开卷考试。
你被允许带笔记进考场。你把所有笔记本摊在桌面上——一本、两本、三本……
桌面就这么大。放到第五本的时候,第一本掉下去了。掉下去的,你就看不到了。
上下文窗口(Context Window)就是这张桌面。
模型能"记住"的全部内容,就是当前还摊在桌面上的笔记。桌面放不下的,它就忘记了。
听起来像是理论问题?不——你一定已经亲身经历过了。
6.2 为什么聊着聊着,它"失忆"了
你和模型聊了半小时,它一开始知道你的名字、你的工作、你要解决什么问题。聊到后面,它突然问:
"不好意思,你叫什么来着?"
不是它没礼貌。是最早的对话被挤下桌子了。
桌面容量:8K tokens(约 6000 个中文字)
[第一轮] [第二轮] [第三轮] [第四轮] [第五轮] [第六轮] [第七轮]
✅ ✅ ✅ ✅ ✅ ✅ ✅
↑ 满了
[第一轮] [第二轮] [第三轮] [第四轮] [第五轮] [第六轮] [第七轮] [第八轮]
❌掉地上 ✅ ✅ ✅ ✅ ✅ ✅ ✅第八轮塞进去,第一轮就被挤掉了。模型再也不记得你们最开始聊了什么。
还记得引言里说的"发了一篇长文,它只盯着最后两段胡说八道"吗?现在你知道了——不是它偷懒,是桌子满了,前面的掉地上了。
6.3 不同模型,桌面大小不一样
粗略换算:1K tokens ≈ 750 个中文字。所以 128K ≈ 一本 10 万字的小说,百万级 ≈ 七八本小说同时摊在桌上。
| 模型 | 上下文窗口 | 翻译成人话 |
|---|---|---|
| GPT-5 系列 | 1M tokens | 一张大办公桌 |
| Claude Sonnet / Opus | 1M tokens | 一张大办公桌 |
| DeepSeek V 系列 | 1M tokens | 一整排会议长桌 |
| Gemini Pro | 1M tokens | 一整排会议长桌 |
| Kimi | 256K tokens | 一整排会议长桌,专门为"吞一本书"设计 |
桌子越大,能同时放的笔记越多。但——
桌子再大,也是要花钱的。 塞进去的每一段历史对话,都算输入 token,都要计费。
6.4 两个实际影响
① 长对话会变"贵"。
第二轮请求,你要把第一轮的历史也传过去。第十轮请求,你要传前九轮的完整历史。每轮都在变长,每轮都在变贵。
这就是为什么 KV Cache(第 13 章)那么重要——传归传,算不一定全算。
② 长文档处理有上限。
你扔给模型一份 10 万字的合同。如果上下文窗口只有 128K tokens,合同本身可能就塞满 90% 的桌子了,留给对话和回答的空间很少。模型可能答着答着就"忘了"合同后半部分写了什么。
超过窗口上限的内容,要么截断,要么压缩——没有别的办法。
本章要点
| 概念 | 一句话 |
|---|---|
| 上下文窗口 | 开卷考试桌面——能放的笔记有上限 |
| "失忆" | 最早的内容被挤下桌子,模型就不记得了 |
| 换算参考 | 1K tokens ≈ 750 个中文字,128K ≈ 一本小说 |
| 不同模型 | 从 200K 的大办公桌到百万级的会议长桌 |
| 实际影响 | 长对话变贵、长文档有上限 |