泛化(generalization)
别名:泛化、举一反三
在没见过的输入上依然表现良好的能力——模型学的不是背题,而是规律。
例子语料里有「猫坐在垫子上」,从没出现过「猫坐在键盘上打字」,模型依然能正常讨论它——因为它学到的是词语组合的规律,不是原句的列表。
它是什么
它是什么:把训练中学到的规律用到新情况的能力。语言模型的泛化能力来自海量语料的统计规律,而不是逐句记忆;泛化差的表现是「只会在训练材料里抄」。哪里会遇到:判断模型是否「死记硬背」的讨论;同一模型在陌生领域问答质量下降,是泛化边界的体现。