问题导览 · 约 5–8 分钟
同一句提示,为什么回答会不一样?
读完你能说清:采样策略如何改变输出,并能举出一种「输出可能完全相同」的情况。
每一步都有独立链接(如 #step-2),可直接分享或从中间开始;从某一步点进概念页再返回,会回到原步骤。
一切从候选打分开始
模型每生成一个词元,都先给词表里的全部候选打分,得到「下一个词元的概率分布」。回答不一样,可能性就藏在「接下来取哪一个候选」。
例子看到「床前明月」,「光」得 0.6、「色」得 0.1……这张表就是全部可能性。
策略一:贪心解码——永远选第一名
贪心解码每一步都拿概率最高的词元。没有随机性,回答可复现:同样的问题,答案一字不差。
例子把温度设为 0,多数 API 就接近贪心——适合要稳定结果的信息抽取任务。
策略二:随机采样——按分数抽签
随机采样按概率抽签:高分候选更容易被抽中,小概率候选也有机会。这让回答有变化、有想法,也带来「每次不一样」的随机性。
例子「今天天气真」之后抽到「好」「不错」「舒适」都有可能——两次提问自然给出两种回答。
调节抽签的旋钮:温度
温度决定抽签前如何处理打分表:低温拉大候选差距(几乎总选第一名)、高温拉近差距(更多意外出场)。这就是你手里的随机性调节器。
例子低温 0.2 时问两次,回答几乎相同;高温 1.2 时问两次,措辞明显不同——「输出可能相同」的情况就是低温/贪心。
涉及概念:温度(temperature)
小结
模型每一步都面对一张候选打分表:贪心解码永远取第一名(稳定可复现),随机采样按分数抽签(多样但每次可能不同),温度则是控制抽签倾向的旋钮。把温度调到最低(相当于贪心),同一个问题就能得到几乎相同的回答。