跳到主内容
快讯直播
AI智模界
其他

研究:美国 90% 工作时间用于 AI 基准未覆盖任务

Mercor 发布的研究页面“Labor Index Benchmark Map”指出,美国有 90% 的工作时间花费在 AI 基准未能良好覆盖的任务上。这一比例揭示了当前 AI 评测体系与实际劳动力市场之间的显著错位。

现有 AI 基准多聚焦于数学、编程、问答等标准化任务,而真实工作场景中的任务往往涉及多步骤协作、模糊目标、领域知识和工具使用,难以被现有基准有效衡量。例如,需要人际沟通、创造性解决问题或跨部门协调的任务,通常不在基准的考察范围内。当绝大多数工作时间都落在基准覆盖范围之外时,仅凭基准分数推断 AI 的实际工作能力就可能产生偏差。这种偏差既可能高估 AI 的自动化潜力,也可能低估其在辅助人类工作方面的价值。

对 AI 从业者而言,这一发现具有多重意义。第一,模型评估需要更贴近真实工作流,避免“基准高分、落地低能”的落差。第二,企业部署 AI 时,应基于自身业务任务进行针对性测试,而非依赖通用榜单。第三,基准建设应扩展至长尾任务与跨领域场景,以更全面反映 AI 的实用价值。第四,对于 AI 替代或增强人类工作的讨论,该数据提示自动化潜力可能因任务映射不同而被高估或低估。第五,投资与产品决策也应参考任务覆盖度,而非仅看基准排名。

该研究提供了劳动力与 AI 能力映射的视角,值得关注 AI 评估与落地应用的读者进一步查阅原始页面。

链接:https://www.mercor.com/research/labor-index/benchmark-map/

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。