谷歌爬虫政策争议 - 美国最大数字和印刷出版商People Inc CEO指控谷歌使用相同爬虫程序同时支持搜索引擎索引和AI产品训练 这被视为不公平竞争行为[1][2][3] - 谷歌搜索流量贡献从三年前占公司总流量65%下降至目前20%区间高位 数年前该比例曾高达90%[4] - 出版商无法单独屏蔽AI爬虫 因谷歌使用统一爬虫程序 屏蔽将导致网站从搜索引擎中消失 彻底切断约20%流量来源[7] 出版商应对策略 - People Inc已与OpenAI达成内容授权协议 并采用Cloudflare的AI爬虫拦截方案 迫使大型语言模型提供商前来洽谈内容合作[4] - 公司通过拦截未付费AI爬虫 已推动与多家大型LLM提供商进入深度谈判阶段 虽未签署最终协议但进展显著[4] - Ankler Media等出版商同样选择屏蔽AI爬虫 其CEO直言目前与AI公司合作缺乏明显益处[8] 行业法律与技术困境 - Cloudflare CEO认为基于版权法的法律对抗可能徒劳 因AI公司生成内容属衍生作品 受合理使用原则保护[9][10] - Anthropic近期与图书出版商达成15亿美元和解 旨在维持其获得的有利版权裁决[10] - 行业观点指出谷歌教导出版商重视流量而非原创内容 间接导致BuzzFeed等为点击量创作内容的现象[10] 未来行业趋势预测 - Cloudflare CEO预测明年谷歌将开始向内容创作者支付爬虫使用费用 用于AI模型训练[11] - 行业内部正进行激烈争论 监管政策可能促使AI公司改变内容获取方式[9][11] - 谷歌面临竞争压力 处于艰难境地 需要重新平衡内容创作者与AI开发生态关系[10][11]