上下文窗口(context window)
别名:上下文、context、上下文长度
模型一次能「看到」的 token 数量上限——超出窗口的内容,对模型来说等于不存在。
例子一个 8K token 的窗口大约装得下一两万字。你粘贴一篇长文让模型总结,若全文超出窗口,最开头的内容模型根本没读到,总结自然不准。
它是什么
模型预测下一个 token 时,依据是「目前出现的所有 token」。这些 token 能覆盖多长,就是上下文窗口的大小。它是什么:模型的「工作桌面」——桌面上摊开的文字才是模型能参考的全部。哪里会遇到:产品参数表里的 8K / 32K / 128K 上下文;对话很长时模型「忘了」前面说过的内容,多数是窗口装不下,而不是它「记性差」。
关联概念
- 概率分布(probability distribution) [前置]
→ 分布是根据窗口内已经出现的文字算出来的——窗口装不下的内容,影响不到这次预测。
- 提示词(prompt) [交叉关联]
— 提示词进入上下文窗口,与历史对话一起构成模型这次看到的全部输入。