AI资讯
Cloudflare新增设置允许网站拦截AI训练爬虫 应对数据抓取争议
发布时间：2026年09月16日 15:41:26Cloudflare于9月16日在其Web开发者平台上线全新设置项，网站管理员可一键阻止AI训练爬虫访问其站点，应对大模型公司大规模抓取网页内容训练数据的行业争议。Cloudflare的Bot Management现新增AI Bot分类标签，与传统搜索引擎爬虫分开管控。
事件经过
全球最大的网站安全服务商之一 Cloudflare 于9月16日在其开发者平台正式上线AI训练爬虫拦截功能。网站管理员现在只需在Cloudflare Dashboard的Bot Management中打开一个开关，即可阻止包括GPTBot、ClaudeBot、Google-Extended等AI训练专用爬虫访问其网站内容。
这是AI数据抓取争议升级以来，首次由主流基础设施服务商提供一键式拦截方案。
新设置详解
Cloudflare此次更新的核心变化：
| 项目 | 变化 |
|---|---|
| Bot分类 | 新增「AI Training Bots」独立分类，与传统搜索引擎爬虫（Googlebot、Bingbot等）分开 |
| 拦截方式 | 一键开关（Allow / Block / Challenge） |
| 默认策略 | Block（即AI爬虫默认被拦截，除非站长主动放行） |
| 覆盖范围 | 涵盖Cloudflare识别的200+ AI相关Bot |
这一默认Block策略直接站在了网站所有者立场——传统robots.txt只是"建议"，而Cloudflare的拦截是强制层面的网络阻断。
行业背景
2026年以来，大模型公司大规模抓取互联网公开内容训练模型的争议持续发酵：
- 版权方：《纽约时报》、《卫报》等多家媒体起诉OpenAI、Meta等公司
- 个人创作者：Midjourney、Stable Diffusion训练数据中大量使用未授权艺术作品
- 中小企业：自身网站内容被AI爬虫高频抓取，影响服务器性能
此前网站所有者只能通过编写复杂的robots.txt规则或自建Bot管理来应对，Cloudflare的一键开关大幅降低了门槛。
AI公司的应对
主要大模型公司目前均提供了opt-out（选择退出）机制：
| 公司 | Bot名称 | Opt-out方式 |
|---|---|---|
| OpenAI | GPTBot | 爬虫UA识别 + robots.txt Disallow |
| Anthropic | ClaudeBot | 同上 |
| Google-Extended | 同上 | |
| Meta | MetaGPT | 同上 |
但实践中发现，部分AI爬虫并不严格遵守robots.txt，这也是Cloudflare推出强制拦截的根本原因。
影响分析
- 网站所有者：获得前所未有的数据控制权
- AI公司：可能面临训练数据源收缩，需要加强合规数据渠道建设
- 搜索引擎：传统Googlebot、Bingbot不受影响，搜索收录不中断