问题导览 · 约 5–8 分钟
大语言模型为什么能接着写？
读完你能说清：一段回答如何由一次次「预测下一个词」逐步形成。
每一步都有独立链接（如 #step-2），可直接分享或从中间开始；从某一步点进概念页再返回，会回到原步骤。
文字在模型眼里是词元
模型不逐字读句子。文本先被分词器切成小片段，每个片段是一个 token，在词表里有编号。模型读到的、写出的，都是 token 序列。
例子「人工智能」可能被切成「人工」+「智能」；unhappiness 可能切成 un + happi + ness。
涉及概念：词元（token）
模型能看到的范围：上下文窗口
预测下一个词元时，模型依据的是「已经出现的 token」——但能装下的数量有上限，这就是上下文窗口。窗口之外的内容，模型完全看不到。
例子8K 窗口约一两万字。长对话里模型「忘了」开头，多半是窗口装不下了。
下一步怎么选：概率分布
模型对词表里的每个候选 token 都算一个可能性，合成一份打分表——「下一个 token 的概率分布」。它不是只挑一个答案，而是给所有候选各一个分数。
例子看到「床前明月」，模型给「光」高分（比如 0.6），「色」「下」也可能分到一点。
循环起来就是回答：文本生成
从分布中取出一个 token 接到末尾，再对新的文本算下一次分布——如此循环，直到模型预测出「结束」。你读到的一段回答，就是这样一次一次长出来的。
例子回答「今天天气很好」，其实是「今」→「天」→「天」→「气」……每一步背后都是一次完整的候选打分。
小结
模型并不一次想好整段话：它把文字切成词元，看着窗口里的上下文，反复做「预测下一个词元 → 接上去」这一件事，直到回答写完。