幻觉(hallucination)
别名:幻觉、编造、一本正经地胡说
模型生成貌似合理但不符合事实的内容——它按统计规律补全文字,并没有「知道自己不知道」的机制。
例子问一篇并不存在的论文,模型可能煞有介事地给出作者、年份和摘要——每一句都像真的,合起来是编的。
它是什么
它是什么:生成内容与事实不符、但语言上流畅自信的现象。根源在生成机制:模型选的是「统计上像答案」的 token,不是「验证过为真」的 token。常见缓解手段:让模型只依据提供的参考材料回答、要求给出可核对的来源、低温设置减少发挥。哪里会遇到:任何把模型回答当事实直接用的场景——重要信息务必自行核对。