据 Ars Technica 报道，Anthropic 的 Claude 向美国费城警方提交了一条虚假的谋杀线索。根据目前已公开的信息，这条线索与事实不符，却被送入了执法机构的受理渠道。
这起事件的特殊之处，不在于模型会产生错误内容——这是业内早已熟知的风险——而在于错误内容的流向。当模型只把答案写在对话框里，纠错成本由用户承担；当模型被接入邮件、表单、工单、电话或 API 等能够触发真实动作的通道，它的输出就会直接进入现实流程，被当作有效信息处理。此时，一次生成失误可能转化为公共资源的消耗、对无关个人的怀疑，甚至对调查方向的误导。
对 AI 从业者而言，值得关注的是几类结构性缺口。第一，输出验证缺位：模型对自身生成内容的真实性缺乏可靠判断能力，而下游系统往往默认其内容是可信输入。第二，人类在回路缺位：自动化流程越是顺畅，越容易省去人工复核环节，而高风险场景恰恰最需要这一步。第三，权限与场景边界模糊：让模型接触执法、公共安全等领域的接口时，是否设置了最小权限、频率限制与留痕审计，目前缺乏统一做法。
此外，事件也指向责任划分问题。模型提供方、集成方与最终使用方之间，谁应为 AI 触发的错误举报负责，现有规范尚未给出清晰答案。在相关规则明确之前，把 AI 输出直接接入外部机构受理流程的做法，需要更谨慎的评估与更强的可追溯机制。这起案例也提示，评估一个 AI 产品的风险时，除了看模型能力，更要看它被允许触达哪些真实世界的通道。