一句话定义
混合电脑操作（Hybrid Computer Use）指 AI 智能体（agent）的动作空间（action space）里同时包含两类动作：一类是看图操作图形界面（GUI action），即截图、移动鼠标、点击、拖拽、键入、按快捷键；另一类是带参数的结构化工具调用（tool / API call）。同一个任务里，智能体可以按需切换这两类动作。
为什么不能只用一种
纯 GUI 智能体像一个只被允许“用手指办事”的人：想查订单，它得先截图，找到搜索框，点进去，再打字，再截图确认结果——每一步都要截图、让视觉模型定位（grounding）、做出决策、执行，十几步才能完成一件小事。它很脆弱：坐标偏几个像素、突然弹个窗、页面还在加载、界面改版、系统缩放变了，流程就会中断，而且误差会一步步累积。它还有个硬伤：把一张几百行的表格“看”进上下文，又慢又容易看错。
纯 API 智能体则相反：一次调用就能拿到结构化数据，快且稳。但真实软件的长尾太长——公司内部老系统、只有桌面客户端的工具、需要扫码或短信验证的界面，根本没有可调接口，或者要审批、要权限。覆盖面不够。
| 纯 GUI | 纯 API | 混合 | |
|---|---|---|---|
| 动作粒度 | 像素级点击 | 语义级调用 | 两者兼备 |
| 速度 | 慢，步数多 | 快 | 按需选择 |
| 脆弱点 | 界面一变就挂 | 接口一改就挂 | 有兜底 |
| 覆盖范围 | 人能点的都能做 | 仅限已开放接口 | 最广 |
| 取数准确性 | 靠“看”，易失真 | 结构化返回 | 更准 |
打个比方：去政务大厅办事，能刷自助机就刷，两分钟搞定；自助机没这项业务，就走人工窗口，照着指示牌一步步填表。正常人不会因为“我会用自助机”就拒绝排队，也不会明明有自助机还非要去排队。
这类模型怎么训：从演化式 Harness 里采轨迹
Harness 指包在模型外面的运行框架：它提供工具、环境、权限，注入故障，并记录每一步的观察、动作、结果和成败。基本思路是：
1. 在沙盒里跑真实任务，动作空间同时开放 GUI 和工具；
2. 记录完整轨迹与最终校验结果；
3. 成功轨迹拿去做监督微调（SFT）示范，失败轨迹做拒绝采样（rejection sampling）、偏好对或可验证奖励的强化学习（RL）；
4. 关键一步是让 harness 自己“演化”：统计反复出现且稳定成功的 GUI 序列，把它封装成新工具，相当于把“每次手动点五下”编写成“一次调用”，再在扩大的动作空间上重训。
结果是动作空间自动收敛：高频路径逐渐工具化，长尾留给 GUI。
对你的意义
做智能体时，别把动作空间当成固定前提，要把它当成设计变量：先用 GUI 兜底保证覆盖，再把高频路径工具化以保证可靠和便宜。评估时不能只看成功率，还要看步数和单任务成本。对普通职场人来说，有开放接口的软件会先被自动化得很稳，而“只有界面”的环节仍容易出错——把无人复核的流程整个交出去，还早了点。具体工具支持哪些接口，以官方页面为准。