Cloudflare 将整顿“网络爬虫”滥抓数据，呼吁谷歌允许网站屏蔽 AI 功能
7 月 11 日消息，据外媒 Ars Technica 今日报道，Cloudflare 正采取行动遏制 AI 网络爬虫无序抓取数据的现象。首席执行官 Matthew Prince 表示，要取得真正的成效，关键还在于主流 AI 公司能否参与合作 —— 但他们很可能完全不愿配合。
Cloudflare 日前推出了一项新的“按次收费抓取”机制，意在反制从开放网络中源源不断抓取内容、却从未付费的 AI 公司。Prince 指出，这些从网络中攫取价值的公司理应为这项机制提供支持。
他在社交平台 X 上参与讨论时介绍了这项新举措，并透露谷歌的 Gemini 网络爬虫已默认被屏蔽。从报道中获悉，Cloudflare 正尝试向谷歌施压，要求其提供一种可行方式，让网站能屏蔽 AI 功能，同时不影响传统搜索引擎的索引爬虫。
Prince 强调，技术上完全可以只屏蔽谷歌的 AI 爬虫，不妨碍网页被正常收录。他还表示，Cloudflare 正在开发相关工具，帮助网站管理者更轻松实现这种区隔。尽管传统内容索引一直是网络的核心，但眼下“零点击互联网”的兴起正在打破这一生态平衡。
Prince 表示，新计划的目标是在保障人类用户顺畅访问的同时，有效限制 AI 的滥用行为。最坏的情况可能需要通过立法，强制要求谷歌等企业将 AI 网络爬虫与普通搜索引擎分开运作。他指出，这在技术上并不复杂，但仍希望社会能在不借助立法的情况下解决问题。
相关阅读：
《Cloudflare 推出新举措：助力网站抵御 AI 爬虫，探索“按爬取付费”模式》
