参数更新(parameter update)

别名:参数更新、梯度下降、gradient descent

根据预测误差微调模型参数的一步:训练就是把这个动作重复几十亿次,直到损失降下来。

例子一次更新的幅度小到肉眼不可见——单个参数可能只变化 0.0001。但亿万次更新累积起来,模型从「胡言乱语」练到「对答如流」。

它是什么

它是什么:训练循环的第三步(预测 → 算误差 → 更新)。常见做法是梯度下降:沿「让损失下降最快」的方向微调每个参数。它只在训练时发生;聊天时参数纹丝不动——这是训练和推理最核心的区别。哪里会遇到:讨论「模型训练要多少显卡算力」时,烧的主要就是不断做参数更新。

关联概念

接下来可以看

来源

收录领域:工程与技术、数学与形式科学 · 内容复核 2026-11-13