模型参数(model parameters)
别名:参数、权重、parameters、weights
模型内部的数值旋钮(动辄几十亿到上万亿个):训练做的事就是把它们调到合适的位置。
例子「70B」指 700 亿个参数。同是语言模型,参数更多通常更「聪明」但也更贵——这就是同一模型常有「大杯/中杯/小杯」版本的原因。
它是什么
它是什么:构成模型的全部可调数值。模型 = 结构 + 参数:结构定下「信息怎么流动」,参数决定「流动时乘上什么系数」。训练的全部产出就是一套参数值;推理时参数固定不动。哪里会遇到:模型规格里的参数量;「开源模型放出了权重(weights)」——weights 就是参数的别名。
关联概念
- 语言模型(language model) [前置]
→ 模型 = 结构 + 参数:几十亿个参数决定了它算出的分布长什么样。