预训练（pretraining）
别名：预训练、pretraining、pre-training
训练的第一阶段：让模型在超大规模语料上反复做「预测下一个 token」的练习，直到参数里留下语言的统计规律。
例子GPT 里的「P」就是 Pre-trained：先在海量文本上预训练出通用语言能力，之后才有针对对话的进一步调教。
它是什么
它是什么：把随机初始化的参数练成语言模型的过程——本质是千万亿次重复「预测 → 算误差 → 更新参数」。预训练产出的是「什么都说点像」的基座模型，之后常见再叠加针对指令与对话的训练。哪里会遇到：模型介绍里的「预训练语料截至某日期」；「基座模型（base model）」一词指的就是预训练的直接产物。
关联概念
- 参数更新（parameter update） [前置]
← 预训练就是千万亿次重复「预测 → 算误差 → 更新参数」的循环。
- 语言模型（language model） [前置]
→ 预训练结束后，参数里留下了语言的统计规律——语言模型由此成型。