问题导览 · 约 5–8 分钟
训练和聊天时发生的事有什么区别？
读完你能说清：训练时如何更新参数，以及普通聊天（推理）为什么不会让模型变聪明。
每一步都有独立链接（如 #step-2），可直接分享或从中间开始；从某一步点进概念页再返回，会回到原步骤。
练习的原料：训练语料
训练时，模型要在超大规模文本（网页、书、代码）上反复练习「预测下一个词元」。它不被教规则，全靠海量练习自己悟出规律。
例子模型会写 Python，是因为语料里有海量 Python 代码；语料截止到某天，模型就不知道那之后的事。
涉及概念：训练语料（training data）
差距打分：损失函数
每一步练习都要算「预测得有多差」：真实答案和模型打分之间的差距，由损失函数压成一个数。这个数就是练习的错题分。
例子模型给「光」的概率只有 0.5 而正确答案应接近 1——损失函数记下这个差距。
涉及概念：损失函数（loss function）
往对的方向调：参数更新
根据误差，算法把几十亿个参数各微调一点点，让下次预测更准。这个「预测 → 算误差 → 更新」的循环重复亿万次，参数不断变化——这就是训练的本质。
例子单次更新小到 0.0001 量级，但亿万次累积后，模型从胡言乱语练到对答如流。
考试与上班：推理不再改参数
聊天时发生的事叫推理：参数已经定死，模型只是反复「算分布 → 取词元」。它不会因为你说了什么而更新自己——对话里的「记住」只是把内容放进了上下文窗口。
例子同一模型对谁回答问题都用同一套参数；关掉对话窗口，它并不因此「变聪明」或「忘掉」什么。
涉及概念：推理（inference）
小结
训练是「预测 → 算误差 → 更新参数」的亿万次循环，模型的参数在变；聊天是推理，用训练定好的参数反复做预测，参数纹丝不动。对话中的「记住」只是把内容放进了上下文窗口。