流式输出(streaming)
别名:流式、流式输出、打字机效果
模型边生成边把 token 推给你看,而不是等整段写完再一次性给出——你看到的「打字机效果」。
例子聊天助手的回答一个字一个字往外蹦,就是流式输出:后端每生成一个 token 就立刻发送,前端边收边显示。
它是什么
它是什么:把生成过程实时展示给用户的传输方式。模型本来就是一个 token 一个 token 生产的,流式只是把这个节奏直接呈现出来。好处是等待感大幅降低,用户能提前发现回答跑偏并中止。哪里会遇到:几乎所有对话产品;API 里的 stream 参数。