随机采样(random sampling)
别名:采样、sampling、抽样
按概率「抽签」选 token:分数高的候选更容易被抽中,但小概率候选也有机会出场。
例子「今天天气真」之后,「好」概率最高但不是唯一:采样可能抽出「不错」「舒适」。同一个问题问两次回答不同,就是采样带来的随机性。
它是什么
它是什么:与贪心相对的取法——按分布抽签而不是只取第一名。这让输出有变化、有创造力,也是对话模型「像人」的原因之一;代价是不稳定,偶发跑偏。哪里会遇到:任何温度大于 0 的对话产品;「多刷几次总有更好的回答」的经验,本质上是在利用采样的随机性。
关联概念
- 文本生成(text generation) [应用]
→ 随机采样是另一种做法:按概率抽签——高分候选更常被抽中,但小概率候选也有机会。
- 温度(temperature) [应用]
← 温度是采样前对分布的最后调整:低温让抽签几乎总是落在第一名上。