损失函数（loss function）
别名：损失函数、损失、loss、预测误差
给「预测得有多差」打分的函数：训练时每一步先算预测误差，参数更新全靠它指路。
例子模型看到「床前明月」后给「光」的概率只有 0.5，而正确答案是 1——损失函数把这个差距算成一个数；数字越大说明这次预测越差，参数就要往「下次更准」的方向调。
它是什么
它是什么：把「模型的预测」和「语料里的真实答案」之间的差距，压缩成一个可以比较的数值。语言模型预训练用的损失主要是「让正确 token 的概率更高」。它是什么的 compass：损失只回答「现在有多差」，更新的方向和步长由配套的优化算法决定。哪里会遇到：训练日志里的 loss 曲线——一路下降说明模型在学；平台不再下降，说明这一轮训练到头了。
关联概念
- 训练语料（training data） [前置]
← 训练时在海量语料上不断问「预测得差多少」——误差由损失函数来算。
- 参数更新（parameter update） [前置]
→ 误差指出参数该往哪个方向调、调多少——没有误差就没有更新依据。