据 The Verge 报道，AI 领域的多家头部公司正在共同支持一种新的网页抓取退出（opt-out）方式。按照报道的描述，这一机制的目标是让网站与内容发布方能够以更明确、更可被机器识别的方式，表达自己的内容是否允许被 AI 抓取和使用。该消息被归入政策与合规议题。
长期以来，网站与爬虫之间的约定主要依赖 robots.txt 一类既有协议。这类协议诞生于搜索引擎时代，表达力有限，也难以区分“索引以便检索”和“批量采集用于模型训练”这两种截然不同的用途。随着生成式模型对训练数据的需求上升，内容方与模型厂商之间围绕抓取边界的摩擦持续增加，业界对“更清晰的退出信号”的呼声也随之升高。多家头部公司共同支持同一套退出方式，意味着这一方向可能从各家自行其是，转向相对统一的表达。
对 AI 从业者而言，其重要性主要体现在数据链路上。若新的退出标准获得主要模型厂商的共同背书，数据采集与训练数据治理的流程可能需要相应调整：抓取行为的记录与审计、训练数据来源的合规审查、以及内容授权环节的衔接，都可能被要求与新的退出信号对齐。对内容发布方来说，则多了一条可主张的权利表达渠道。
需要指出的是，目前公开信息仍然有限。该标准的具体技术形式、覆盖范围、是否具备实际约束力，以及各家公司承诺的落地方式与时间表，均有待进一步披露。它究竟是形成行业事实标准，还是停留在表态层面，仍取决于后续各方的实际执行情况。