AI厂商与内容创作者的矛盾 - AI聊天机器人和AI搜索的普及导致AI厂商与内容创作者的矛盾激化，AI摘要功能劫持流量引发内容创作者强烈反对 [1] - Cloudflare宣布默认阻止未经许可的AI爬虫抓取内容，以保护网站所有者权益 [1] - AI大厂的爬虫效率极低，OpenAI的GPTBot每1500次抓取仅带来1次跳转，Anthropic的ClaudeBot需73300次抓取换1次跳转 [8] Cloudflare的策略与谈判 - Cloudflare CEO透露正与谷歌谈判，要求分离传统搜索引擎爬虫与AI爬虫，允许网站自主屏蔽AI爬虫 [3] - 若谷歌拒绝分离爬虫，Cloudflare考虑推动立法强制分离 [3] - Cloudflare的谈判底气来自其全球152个数据中心构成的网络，代理全球20%互联网流量 [3] Cloudflare的商业动机 - Cloudflare推出Pay Per Crawl平台，旨在撮合内容创作者与AI厂商的交易，从中获利 [6][8] - 公司提供AI审计工具，帮助网站监控AI爬虫的抓取行为，包括IP地址、频次等数据 [8] - Pay Per Crawl面临挑战，AI厂商不愿支付中间商费用，且谷歌已推出替代方案Offerwall [9] 谷歌的应对措施 - 谷歌推出Offerwall工具，允许站长通过小额支付、广告或调查等方式向用户收费，绕过Pay Per Crawl [9] - Offerwall采用付费订阅模式，与Cloudflare的流量变现模式形成直接竞争 [11] - 内容创作者需在流量变现和付费订阅之间二选一，无法同时使用两种模式 [11] 行业竞争格局 - AI搜索是谷歌的未来战略，若AI爬虫被限制，其市场竞争力将大幅下降 [5] - 海外媒体认为Cloudflare难以阻止谷歌抓取数据，立法过程可能耗时数年 [5][6] - 内容创作者面临流量下降和广告收入锐减，商业模式受到AI摘要功能的严重冲击 [8]