一句话定义:继续生成是指把已经写好的内容原样放进上下文,让模型从最后一个字后面接着往下写,而不是把前面的内容重新输出一遍。
原理:模型只做一件事——预测下一个词
语言模型(Language Model)的底层动作是预测下一个 token(词元)。它并不区分“任务”,只看“到目前为止的文本长什么样,接下来最可能接什么”。所以“给我一份完整方案”和“这是方案的前半段,接着写”,在模型眼里是两件不同的事:前者输出里必然夹带重述,后者只是往下接。
打个比方:接力赛。棒子交到手上就往前跑,不必回起点把前面几棒重跑一遍。再比如手写笔记写到一半笔没水了,换支笔接着写就行,不用撕掉重抄。
三个好处
省 token:重写的输出里有一大半是原文的复制。输出 token 通常比输入 token 贵(各家定价不同,以官方页面为准),而且输出越长,等待时间越久。
保上下文:原文一个字没动,继续作为条件(conditioning)留在上下文里。格式、语气、已经填好的字段、已经定下的结论,全都在。
不跑偏:重写等于让模型重新“决定”整段话怎么写,它可能换措辞、丢细节、改口径。继续生成时模型只能顺着已有的往下走,风格漂移小得多。
| 做法 | 输出含原文 | token 消耗 | 风格漂移 | 适合场景 |
|---|---|---|---|---|
| 继续生成 Continue | 不含 | 低 | 小 | 长文分段、代码追加、表格续行 |
| 重写 Rewrite | 含(完整新版) | 高 | 大 | 整体润色、换风格 |
| 重新生成 Regenerate | 视提示而定 | 中 | 中 | 对结果不满意,想换个答案 |
注意别把“重新生成”和“继续生成”混为一谈:前者是同样的输入再跑一次,靠采样随机性得到不同结果;后者是把已有结果当作新的起点。
落地用法
写作时一次只让它写一节,写完贴回去,再说“接着写下一节”。改代码时把文件末尾几行贴进去,说“在这个函数后面加一个校验”,比“重写整个文件”安全得多。整理表格清单时,贴最后两三行,让它按同样格式往下续。部分接口还支持预填充(prefill)模型回复的开头,接续更直接,具体用法以官方文档为准。
要留个心
继续生成不会自我纠错:前文有错,它会顺着错下去。AI 词典:上下文窗口">上下文窗口有限,太长要分段或先做摘要。前文若断在半句、格式混乱,它也会跟着乱。所以“接着写”的前提是:前面那一段,你自己先确认是对的。
