DRYLAB-Bench 是一类专门测量「智能体在干实验场景下会不会、以及能不能帮人做出病原体改造设计」的生物安全评测基准。「干实验」(dry lab)指不碰试管和培养皿、纯在计算机上完成的工作:序列设计、蛋白结构建模、实验方案规划、试剂与流程排布。
为什么需要它
过去做危险生物设计的门槛在于「你得有实验室」。现在,设计环节的很大一部分可以在电脑上完成,而这正好落在语言模型和智能体最擅长的地方:查文献、写代码、调用序列分析工具、把多步流程串起来。
这类信息的麻烦在于它是「双用途」(dual-use)的:同一套知识,用来设计疫苗和用来增强病原体的路径高度重叠,单看某一步很难说清意图。
打个比方:常规能力评测考的是「你会不会开车、能不能把货送到」,DRYLAB-Bench 这类基准考的是「给你一条无人路段,你会不会一脚油门踩到底」。前者的失败是任务没做完,后者的失败是现实里没有重来一次的机会。
任务怎么构造
它不是知识选择题,而是多轮智能体任务:给模型一组工具(文献检索、代码执行、序列处理等),让它完成一条完整工作流。任务通常被拆成若干环节——理解背景、提出设计方案、评估可行性、排出实验步骤——每个环节单独可判。关键在于「串起来」:单看每一步都平平无奇,连成一条链才显出风险。
怎么判分
难点是没有唯一正确答案。常见做法是把工作流拆成一组可判定的里程碑,再用专家评分表(rubric)打分。更重要的是把两件事分开测:
- 模型有能力做,但识别出风险后拒绝或降级执行;
- 模型根本没能力做。
这个区分决定了后续该加护栏还是该补能力,混在一起就失了信息量。
和相邻概念的区别
| 维度 | 通用智能体能力评测 | DRYLAB-Bench 这类生物安全基准 |
|---|---|---|
| 核心问题 | 任务能不能做完 | 做完之后会不会造成不可逆危害 |
| 题目形态 | 编程、网页操作等日常任务 | 干实验工作流:序列设计、方案规划 |
| 判分方式 | 自动测试通过与否 | 里程碑达成 + 专家 rubric + 拒绝行为 |
| 失败代价 | 做砸了重来 | 没有重来 |
| 主要用途 | 看能力曲线 | 发布前的红线审查与合规沟通 |
它也和越狱测试不同:越狱测试问「护栏能不能被绕开」,它问「假设目标本身就是恶意的,模型会走到哪一步」。
对从业者的意义
它更像发布前的闸门,而不是排行榜上的分数。做模型的人需要把能力评估和安全评估分成两条轨道,不能用一个综合分掩盖另一条红线;做应用的人,只要产品接入了生物相关的工具或 API,就应该考虑这类风险面。对普通人来说,它的价值在于让「能不能做」和「该不该做」被分开看见——这也是和监管、和公众沟通时最好用的一种语言。
具体任务集、评分阈值与通过标准,以官方页面和论文为准。
