分词器（tokenizer）
别名：tokenizer、分词
把文本切成 token 的程序——它是人类文字与模型世界之间的翻译官，切法由它说了算。
例子同一段中文，在不同模型下可能被切成不同数量的 token：有的模型把「今天」切成一整块，有的切成「今」「天」两块——因为每个模型训练了自己的分词器。
它是什么
它是什么：模型自带的切分程序，通常用 BPE 一类算法从海量文本中「学」出高频组合当块。哪里会遇到：同一个问题在不同模型下 token 数不同；中文在早期模型里特别「费 token」，因为按字甚至按字节切；数 token 的工具（tokenizer playground）可以让你亲眼看到切分结果。
关联概念
- 词元（token） [前置]
→ 分词器把文本切成 token——切法由它定义，模型只认它切出来的单位。