词表(vocabulary)

别名:词表、词汇表、vocabulary

模型认识的全部 token 的总名单:每个 token 对应一个唯一编号,模型的「识字量」就是词表大小。

例子常见词表大小从几万到十几万。词表里没有的罕见字符(比如生僻字),会被拆成更小的块来凑——所以有些字模型「认识」但总写得怪怪的。

它是什么

它是什么:一张「token → 编号」的对照表,和分词器配套出厂。模型看到的输入其实是编号序列,输出也是从词表里挑编号。哪里会遇到:模型参数表里的「词表大小 vocab size」;模型输出乱码或生造字,常常和词表覆盖不足有关。

关联概念

接下来可以看

来源

收录领域:工程与技术 · 内容复核 2026-11-13