参数更新(parameter update)
别名:参数更新、梯度下降、gradient descent
根据预测误差微调模型参数的一步:训练就是把这个动作重复几十亿次,直到损失降下来。
例子一次更新的幅度小到肉眼不可见——单个参数可能只变化 0.0001。但亿万次更新累积起来,模型从「胡言乱语」练到「对答如流」。
它是什么
它是什么:训练循环的第三步(预测 → 算误差 → 更新)。常见做法是梯度下降:沿「让损失下降最快」的方向微调每个参数。它只在训练时发生;聊天时参数纹丝不动——这是训练和推理最核心的区别。哪里会遇到:讨论「模型训练要多少显卡算力」时,烧的主要就是不断做参数更新。
关联概念
- 损失函数(loss function) [前置]
← 误差指出参数该往哪个方向调、调多少——没有误差就没有更新依据。
- 预训练(pretraining) [前置]
→ 预训练就是千万亿次重复「预测 → 算误差 → 更新参数」的循环。