一句话定义：付费墙绕过抓取（Paywall Circumvention）指网络爬虫（crawler）通过技术手段越过网站的订阅墙、登录墙或反爬机制，批量获取本应付费或注册后才能看到的正文内容，常见于搜索引擎索引、内容聚合与 AI 训练数据采集。
打个比方：不是撬锁，是"礼貌地走后门"
想象一家书店，橱窗里摆着书，完整内容锁在里屋，进里屋要办会员。绕过付费墙的爬虫通常不砸门，而是找那些"本来为别人开着的门"：把 User-Agent 伪装成搜索引擎爬虫，让服务器以为来的是 Googlebot；走站点的 RSS 订阅源或站点地图（sitemap），那里常常直接喂全文；利用"首次点击免费"（first-click-free）机制，把自己伪装成从搜索或社交媒体跳转来的首次访客；或者干脆用一个真实浏览器内核（headless browser）把页面渲染出来，连 JavaScript 动态加载的付费内容也一并读出。内容站为了 SEO 往往主动放行这些入口，爬虫做的事就是把这些"为索引而生"的缝隙变成"为采集而生"的管道。
和相邻概念的区别
| 概念 | 关键特征 | 是否越界 |
|---|---|---|
| 普通网页抓取 | 抓公开可访问页面 | 通常合规，看条款 |
| 付费墙绕过抓取 | 越过订阅/登录/技术保护措施 | 法律风险高 |
| 尊重 robots.txt 的爬虫 | 遵循 Robots 排除协议 | 行业惯例层面合规 |
| 内容授权（Licensing） | 与版权方签约拿数据 | 明确合法 |
要注意：robots.txt 只是行业惯例，不是法律；而"违反网站服务条款（Terms of Service）"是合同问题，"绕过技术保护措施"在美国可能触及《数字千年版权法》（DMCA）的反规避条款，性质完全不同。
法律边界：从 NYT 诉 Brave 说起
《纽约时报》起诉浏览器厂商 Brave Software 一案，是这条边界上被反复引用的样本。指控的核心不是"抓了网页"，而是抓取了受付费墙保护的报道并用于其 AI 相关产品，同时涉及绕过技术措施、违反服务条款等多项主张。被告方的常见抗辩是"内容公开可访问"与合理使用（fair use）。这类案件的关键争点往往落在：付费墙是不是"有效的技术保护措施"，以及抓取行为有没有实质替代原作的订阅价值。具体结论以法院文书和官方页面为准，不宜替法院下判断。
对从业者的实际意义
做模型训练数据的人要记住三件事：一是"技术上抓得到"不等于"法律上拿得走"，数据来源清单（data provenance）要能说清每一批语料的授权状态；二是新闻、学术期刊、金融数据是付费墙绕过的高危区，宁可走授权或公开许可数据集；三是产品侧的风险会顺着供应链传导，上游一次越界抓取，下游应用可能一起被诉。对普通人来说，这件事决定了两件事：你订阅的内容会不会被无偿变成别人的模型参数，以及未来优质内容是否只能藏在更厚的墙后面。