跳到主内容
快讯直播
AI智模界
公司动态

维基百科运营方:OpenAI 爬虫或与 5 月服务中断相关

维基媒体基金会(Wikimedia Foundation)表示,OpenAI 的“失控”(rogue)爬虫可能与 5 月维基百科遭遇的一次服务中断存在关联。该消息由 The Verge 报道。按照现有措辞,这一关联仍属“可能”,并未被确认为中断的直接原因。

维基百科由非营利机构维基媒体基金会运营,长期以开放访问为原则,向公众与各类自动化程序提供内容。当大规模自动抓取行为出现异常时,站点的带宽、缓存与计算资源会被快速占用,进而影响普通用户的访问体验,严重时即表现为服务中断。

事件之所以受到关注,是因为它直指当前 AI 行业的一个核心矛盾:大模型训练与检索增强等场景需要海量文本,而公共网站的资源承载能力有限。谁以何种频率、何种方式抓取公开内容,正在从技术细节变成平台与 AI 公司之间的现实议题。对从业者而言,这既涉及爬虫身份识别、访问频率控制与 robots 协议等工程实践,也涉及内容提供方与模型方之间如何建立更清晰的规则。

维基媒体基金会的这一说法,把“AI 数据获取”从抽象讨论拉回到具体的可用性问题:当爬虫行为失控时,受损的往往是依赖开放内容的公共基础设施。围绕该关联的具体机制与影响范围,仍有待进一步说明,OpenAI 方面也尚无公开回应可循。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。