Cloudflare CEO：机器人流量已超人类，未来网站将“付费爬取”

一句话看懂

Cloudflare CEO 表示，AI 代理导致机器人流量超过人类，未来网站可能要求 AI 公司付费才能爬取数据。

详细发生了什么

Cloudflare 首席执行官 Matthew Prince 表示，互联网上的机器人流量已超过人类流量，这比他此前预测的 2027 年底提前了两年。Prince 将这一激增归咎于 AI 代理（AI agents）的广泛使用，这些代理自动抓取网站数据用于训练模型或执行任务。

他在一次采访中直言：“很明显，未来将是‘付费爬取’（pay to crawl）。”这意味着网站可能会向 AI 公司收取费用，以允许其爬虫访问内容。Prince 认为，这种模式将帮助网站所有者从 AI 带来的流量中获利，同时遏制无节制的数据抓取。Cloudflare 作为全球最大的 CDN 和网络安全服务商之一，其数据反映了互联网流量的真实变化。

中文圈视角

“付费爬取”模式对中文互联网生态影响深远。目前，国内主流 AI 公司如百度、阿里、字节跳动等都在大量爬取中文网站数据训练大模型。如果这一模式成为主流，中文内容网站（如知乎、微信公众号、百科类站点）可能效仿，向 AI 公司收取数据使用费。

对中文用户而言，好消息是这可能会激励更多优质原创内容的生产——网站有了收入来源，可以更好地维护内容质量。坏消息是，小型 AI 创业公司可能因无力支付爬取费用而面临数据短缺，进一步拉大与巨头的差距。此外，国内已有类似“数据堂”等数据交易平台，但缺乏统一标准，Cloudflare 的提议或加速行业规范化。

值得注意的是，中文互联网的“围墙花园”现象本就严重，付费爬取可能加剧信息孤岛，使跨平台数据获取更加困难。

几条值得记住的细节

• Cloudflare CEO 原预测 2027 年底机器人流量超过人类，但实际在 2025 年中就已实现。
• AI 代理（如 OpenAI 的 GPTBot、Google 的 Google-Extended）是流量激增的主要推手。
• “付费爬取”模式类似于 API 收费，但针对的是网站原始内容的批量抓取。
• Cloudflare 已推出 AI Audit 工具，帮助网站识别和分类 AI 爬虫流量。
• 目前尚无统一收费标准，预计将根据爬取频率、数据量等因素定价。

一句话总结

网站向 AI 公司收费爬取数据可能成为新常态，内容创作者有望从中获益，但中小 AI 公司面临成本压力。