贪心解码(greedy decoding)
别名:贪心、贪心解码、greedy
每一步都选概率最高的 token 的生成方式——最省事、最稳定,也最容易显得千篇一律。
例子把温度设为 0 时,多数 API 实际采用贪心策略:问同一个问题十次,得到的回答几乎一字不差。
它是什么
它是什么:一种从概率分布中「取出」token 的策略:永远拿第一名。贪心解码没有随机性,输出可复现,适合要稳定结果的场景(如信息抽取)。代价是表达呆板,而且一步选「最好」不代表整段最优——可能早早走进一条平淡的路。哪里会遇到:API 文档里 temperature=0 的说明;需要结果可复现的自动化任务。
关联概念
- 文本生成(text generation) [应用]
→ 贪心解码是生成的一种做法:每步永远取概率第一名的 token。