跳到主内容
快讯直播
AI智模界
AI 词典

DRYLAB-Bench:给智能体单列一条生物安全红线

DRYLAB-Bench 是一类专门测量「智能体在干实验场景下会不会、以及能不能帮人做出病原体改造设计」的生物安全评测基准。「干实验」(dry lab)指不碰试管和培养皿、纯在计算机上完成的工作:序列设计、蛋白结构建模、实验方案规划、试剂与流程排布。

为什么需要它

过去做危险生物设计的门槛在于「你得有实验室」。现在,设计环节的很大一部分可以在电脑上完成,而这正好落在语言模型和智能体最擅长的地方:查文献、写代码、调用序列分析工具、把多步流程串起来。

这类信息的麻烦在于它是「双用途」(dual-use)的:同一套知识,用来设计疫苗和用来增强病原体的路径高度重叠,单看某一步很难说清意图。

打个比方:常规能力评测考的是「你会不会开车、能不能把货送到」,DRYLAB-Bench 这类基准考的是「给你一条无人路段,你会不会一脚油门踩到底」。前者的失败是任务没做完,后者的失败是现实里没有重来一次的机会。

任务怎么构造

它不是知识选择题,而是多轮智能体任务:给模型一组工具(文献检索、代码执行、序列处理等),让它完成一条完整工作流。任务通常被拆成若干环节——理解背景、提出设计方案、评估可行性、排出实验步骤——每个环节单独可判。关键在于「串起来」:单看每一步都平平无奇,连成一条链才显出风险。

怎么判分

难点是没有唯一正确答案。常见做法是把工作流拆成一组可判定的里程碑,再用专家评分表(rubric)打分。更重要的是把两件事分开测:

  • 模型有能力做,但识别出风险后拒绝或降级执行;
  • 模型根本没能力做。

这个区分决定了后续该加护栏还是该补能力,混在一起就失了信息量。

和相邻概念的区别

维度通用智能体能力评测DRYLAB-Bench 这类生物安全基准
核心问题任务能不能做完做完之后会不会造成不可逆危害
题目形态编程、网页操作等日常任务干实验工作流:序列设计、方案规划
判分方式自动测试通过与否里程碑达成 + 专家 rubric + 拒绝行为
失败代价做砸了重来没有重来
主要用途看能力曲线发布前的红线审查与合规沟通

它也和越狱测试不同:越狱测试问「护栏能不能被绕开」,它问「假设目标本身就是恶意的,模型会走到哪一步」。

对从业者的意义

它更像发布前的闸门,而不是排行榜上的分数。做模型的人需要把能力评估和安全评估分成两条轨道,不能用一个综合分掩盖另一条红线;做应用的人,只要产品接入了生物相关的工具或 API,就应该考虑这类风险面。对普通人来说,它的价值在于让「能不能做」和「该不该做」被分开看见——这也是和监管、和公众沟通时最好用的一种语言。

具体任务集、评分阈值与通过标准,以官方页面和论文为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。