训练语料（training data）
别名：训练语料、训练数据、语料
用来训练模型的超大规模文本集合——网页、书籍、代码等；模型的语言能力全部来自它。
例子主流大模型的训练语料以万亿 token 计，包含大量公开网页与代码。模型会说 Python，是因为语料里有海量 Python 代码和围绕它的讨论。
它是什么
它是什么：预训练阶段「读」的全部材料。模型不是被教规则，而是在语料上反复做「预测下一个 token」的练习——语料的广度和质量直接决定模型会什么、偏什么。哪里会遇到：讨论模型的知识截止时间（语料只到某个日期）；模型带有语料中的偏见或错误观念，也源于此。
关联概念
- 损失函数（loss function） [前置]
→ 训练时在海量语料上不断问「预测得差多少」——误差由损失函数来算。