概率分布（probability distribution）
别名：概率、分布、下一个 token 的候选
对「下一个 token 是谁」这个问题，模型给词表里的每个候选都打一个可能性分数，所有分数合起来是 1。
例子给模型看「床前明月」，它会给「光」一个很高的分数（比如 0.6），「色」「下」等也可能分到一点——这份完整的候选打分表就是概率分布。模型每生成一个字，背后都先算这样一张表。
它是什么
语言模型的核心能力，是回答「接下来最可能是什么」。它对词表中的每一个 token 都计算一个 0 到 1 之间的可能性，全部加起来恰好是 1——这就是「下一个 token 的概率分布」。它是什么：一份完整的候选可能性打分表，而不是单一答案。哪里会遇到：模型每次输出前的内部步骤；「温度」等参数正是通过改变这份分布来影响输出的。
关联概念
- 词元（token） [前置]
← 概率分布给「下一个词元」的每个候选打分——先有词元的概念，才谈得上候选。
- 上下文窗口（context window） [前置]
← 分布是根据窗口内已经出现的文字算出来的——窗口装不下的内容，影响不到这次预测。
- 文本生成（text generation） [前置]
→ 生成就是把「按分布取出一个词元、接上去、再预测」循环起来。
- 温度（temperature） [应用]
← 温度改变候选之间的相对差距：低温拉大、高温拉近。
- 语言模型（language model） [前置]
← 语言模型每一步的输出，就是「下一个 token」的概率分布——它本质上是一个打分器。