一句话定义
Skeleton-of-Thought(骨架式思考,简称 SoT)是一种让大模型先只输出答案的提纲,再并行把各段内容填满的方法:用“结构”换“速度”。
它怎么运行
普通生成是自回归的:一个字接一个字往后写,写 800 字就要走 800 步解码,前面没出完,后面接不上。SoT 把一次长生成拆成两段:
第一步,先让模型“别急着答,只给骨架”,通常要求 3~8 个要点,每点一句话;
第二步,把“原问题、完整骨架、第 i 个要点”分别发出去,让模型只扩写第 i 点。这些请求互不依赖,可以同时发、同时解码,最后按顺序拼起来。
打个比方:装修队进场,传统做法是一个师傅从客厅做到卧室,一间间串着来;SoT 是先出图纸,写清有几间房、每间干什么,然后几个师傅一人一间同时开工,最后统一收口。
关键一点:省的是时间,不是算力。总 token 数没变少,甚至因为多了提纲和重复上下文而变多;但长序列被切成短段并行跑,用户等待的实际耗时从“总长度”降到“最长那一段”。
和相邻概念的区别
| 概念 | 目标 | 做法 |
|---|---|---|
| 常规生成 | 一次写完 | 串行逐字解码 |
| AI 词典:Chain-of-Thought">Chain-of-Thought(思维链) | 答对 | 把推理摊开、写得更长,仍然串行 |
| 骨架式思考 | 答快 | 先出提纲,再分段并行填充 |
| speculative decoding 等解码加速 | 答快 | 改解码器,不动提示与任务结构 |
思维链和骨架式思考名字都带 thought,方向却相反:一个把内容拉长求正确,一个把内容切块求速度。另外,分治式提示要人手工拆题,而 SoT 的骨架由模型自己生成。
什么时候别用
如果各段强依赖前文,比如数学推导、代码、需要全局一致的论证,切段并行就会丢上下文,出现重复、跑题、前后矛盾;如果回答很短,拆骨架的额外开销也大于收益。SoT 更适用的场景是“长、可分解、段间弱依赖”的内容:清单体、多角度分析、产品说明、多要点总结。加速幅度与质量损耗取决于模型和任务,别照搬论文里的数字,以自己场景的实测为准。
对从业者和普通人的意义
产品侧:长回答的总耗时常常是体验瓶颈,SoT 是一种不用更换模型就能采用的工程手段;但要处理并行所致的输出乱序、拼接生硬、各段内容重复的问题。通常要在提示里明确“只写第 i 点”,并在末尾做一次轻量合并。
成本侧:并行请求会抬高瞬时并发和 token 总量,限流策略与账单估算都要重新计算。
普通职场人:不必自己实现。在提示里写“先给我 5 个小标题,再逐条展开”,就是手动版的骨架式思考,也能让你更早看到长文档的结构。
