据 The Verge 报道,Anthropic 的 AI 系统向费城警方提供了一条关于一起未破谋杀案的虚假线索。
可确认的事实目前仅限于此:AI 给出了这条虚假线索。线索的具体内容、指向的案件、警方是否据此采取任何行动、Anthropic 方面的回应,公开报道中均未展开。因此这更像一个信号,而非一起已被完整还原的事件。
为什么值得关注
其一,幻觉进入了高风险场景。大模型生成不实信息并非新问题,但当输出流向警务、司法这类对事实准确性要求极高的环节,"模型可能出错"就从产品体验问题变成了公共安全问题。一条虚构线索,可能意味着调查资源的错配,也可能波及案件相关方。
其二,AI 输出的"权威感"被高估。语言流畅、结构完整的机器输出,容易被默认当作可信情报。此次事件说明这种默认信任需要重新审视。
其三,核验责任必须明确。无论供应商如何提示模型局限,最终采纳信息的一方仍需承担事实核查责任。把 AI 接入业务流程时,人机分工与验证机制应前置设计,而非事后补救。
对 AI 从业者而言,这也是一个提醒:在面向政府、执法等领域的落地中,可靠性、可追溯性与清晰的使用边界,可能比模型能力本身更决定成败。
