跳到主内容
快讯直播
AI智模界
AI 词典

外壳-策略联合优化:把提示词和工具链也当成可训练的部分

一句话定义:Harness-Policy Optimization(外壳-策略联合优化)是一种工程思路:不光源模型权重做训练,还要把智能体的“外壳”(harness,包括提示模板、工具集、重试与校验流程、上下文管理)也当成可调整、可评估、可自动迭代的策略的一部分,让两者用同一套反馈信号一起变得更好。

打个比方。把智能体完成一项任务比作演一场话剧:模型是演员,外壳是剧本结构、舞台调度、提词器和导演的检查清单。过去常见的做法是“换演员、改台词”——换更强的模型、把提示词改得更清楚。但这些调整很依赖个人经验,往往改完这一处,另一处又会出问题。联合优化的做法是:把整场戏的调度方案也写进“可修改清单”,每演一场就看反馈(任务是否成功、花多少钱、多慢),然后同时调整演员的表演和舞台调度。

具体怎么优化。先把外壳里能调的部分拆出来,例如:提示的结构、用哪几个工具以及工具描述怎么写、要不要“先自查再交付”、失败重试几次、历史对话保留多少、什么情况下换用更便宜的模型。然后在一个有标准答案的评测集上跑,按成功率、成本、延迟打分,再用超参搜索或“让模型自己改自己的外壳”这类办法迭代。关键在于:外壳的改动要像代码一样进入版本管理和回归测试,而不是靠某个人随手改一版。

它跟几个相邻概念的区别:

概念调整对象靠什么驱动典型局限
Prompt Engineering(提示词工程)几句提示文字人的经验、反复试局部、不可复用、难以量化
AI 词典:Agent Harness">Agent Harness(智能体外壳)整个运行脚手架工程设计它是“被优化的对象”,不是方法
模型微调、RLHF模型权重训练数据与奖励信号外壳固定,流程缺陷改不掉
外壳-策略联合优化权重与外壳统一的评测反馈需要可靠评测集,工程量不小

对从业者的意义:同一个模型,换一套外壳,效果差异常常大于换一个模型。所以与其反复纠结“用哪个模型”,不如先搭一个能自动跑分的外壳评测回路。对普通职场人:与其在提示词里不断补充要求,不如先想清楚任务分几步、哪一步该有校验、失败了怎么重来——这些“流程设计”才是真正能稳定提升结果的部分。

需要说明的是,这是一个正在形成的工程提法,不同团队的具体做法差别很大,涉及具体工具与产品的细节,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。