Cloudflare 想为机器人时代重写开放 Web 的交易规则

一、嘉宾背景

这期 Decoder 的嘉宾是 Matthew Prince，Cloudflare 的联合创始人兼 CEO。节目由 The Verge 主编 Nilay Patel 主持，标题是“Can Cloudflare save the web from AI?”。这不是一场泛泛讨论 AI 趋势的访谈，而是围绕一个位于互联网基础设施层的公司，如何看待 AI 爬虫、开放 Web、内容付费、Google 权力以及企业组织结构变化展开。

Cloudflare 在节目中被描述为一家重要的互联网基础设施公司：它保护应用和服务免受恶意行为影响，让互联网更快，并且位于网站与 AI 工具或机器人之间。正因为处在这个位置，Cloudflare 可以让网站所有者阻止、允许，或在未来只允许付费的 AI 工具访问内容。Prince 也把 Cloudflare 的自我定位从“让互联网更快并保护它”，扩展为“重建互联网，让它像一开始就知道自己会如此重要时那样被构建”。

Prince 的相关经验来自两个层面。第一，他管理的是一家覆盖大量网站访问路径的基础设施公司，因此能从流量、爬虫、网站成本和客户控制权的角度解释 AI 对 Web 的冲击。第二，访谈后半段转向 Cloudflare 内部：公司裁掉超过 1,100 人，约占员工总数 20%，并公开把 AI 使用与组织重构联系起来。也就是说，他既在讨论互联网商业模式，也把 Cloudflare 自身作为 AI 组织改造的案例。

二、本期主要内容

Prince 对开放 Web 危机的分析起点是广告模型。他说，过去至少三十年，Web 的增长主要由广告驱动，而 Google 是第一代 Web 广告生态的核心塑造者。搜索抓取之所以能被出版商、网站和社区接受，是因为它带来流量；流量可以转化为广告、品牌曝光、订阅或其他商业机会。这套交换并不精密，但曾经可以运行。

AI 把这套交换拆开了。Prince 说，Cloudflare 原本预测自动化流量会在 2027 年下半年超过人类流量，后来修正到 2027 年上半年；但到 2026 年 5 月，团队发现自动化流量已经超过人类流量。他还带着明确保留外推称，五年后自动化流量可能达到人类流量的一千倍。这个“一千倍”不是节目外独立证明的事实，而是 Prince 基于 Cloudflare 观察以及此前低估趋势后的预测。

问题不只是“访问更多”，而是访问者的性质变了。Prince 强调，机器人消耗带宽、服务器和基础设施，却不会点击广告，也不会响应品牌展示。AI 公司需要人才、芯片和数据；在他的判断中，人才和芯片短缺会缓解，开放互联网上免费可抓的数据反而会变得更受限制。因此，创作者可以继续免费服务人类，但对机器人访问收费，因为机器人没有参与观看广告这种传统的 give-to-get 交换。

Cloudflare 的具体方案，是把访问控制和价格信号放回协议层。Prince 提到，Cloudflare 正在与 Coinbase、Stripe 等公司探索 HTTP 402 Payment Required，让内容访问按次收取几分之一美分。基础访问费可以低到千分之一美分，用来覆盖基础设施成本；出版商、学者或其他高价值内容可以在此基础上收取更高费用。Prince 用“陆地空气免费、水下空气形成市场”的类比说明：市场不仅需要需求，也需要受约束的供给。

Nilay Patel 不断追问这个方案的激励问题：即使微支付成立，创作者为什么还要做网站？他们也许会去 TikTok 等平台。Prince 承认，Wikipedia 公开贡献数据显著下降，原因之一是用户通过 ChatGPT、Claude、Grok 等答案引擎消费 Wikipedia 信息，而不再访问原始页面。开放 Web 作为信息平台确实承压；Cloudflare 试图解决的是，在机器访问已经成为主流后，内容生产者如何继续获得回报。

Google 是整期节目最尖锐的冲突点之一。Prince 认为，Google 过去抓取网页是为了搜索，并向出版商导流；现在如果用同样的抓取能力训练 AI 却不送回流量，交易关系就变了。他说，如果 Google 不能区分 AI 训练和搜索抓取，Cloudflare 将从 9 月 15 日起对免费客户默认阻止 Google 用于 AI 训练的抓取；站点所有者可以关闭这个默认设置。Prince 还说，Google 已承诺提高爬虫透明度，包括在访问页面时声明用途，让发布者允许某些用途、拒绝其他用途。

Prince 并不认为知识产权诉讼是唯一或最好的工具。他说，大型 AI 公司通常是可识别的美国公司，不像国家级黑客那样难以识别，因此技术识别、用途声明和默认控制可能比单纯诉讼更直接。不过法律争议仍在。Patel 提到音乐公司起诉 Anthropic，以及白宫在 OpenAI 与 New York Times 案中支持训练属于 fair use 的立场；Prince 则把 Anthropic 图书案概括为：训练可能属于 fair use，但偷书不行。这些都应保留在嘉宾或主持人陈述的语境中理解。

访谈后半段转向企业内部。Prince 把公司岗位分为 builder、seller、measurer：builder 是工程师、产品经理等创造新产品的人；seller 负责销售；measurer 衡量组织运作。他说，Cloudflare 裁员多数来自 measurer 类别，但不是全部；同时，AI 让 builder 生产力约提升到过去十倍，所以他反而更想招聘工程师和产品经理。Cloudflare 从 2025 年中开始推动全员学习 AI，不只工程师，也包括财务、法务等职能。

Prince 给出的内部例子是投资者关系流程：Heather 领导的团队原本约 20 人花两周生成财报相关材料，后来 AI 工具把这个过程压缩到三分钟；Prince 说投资者认为文件更好、错误更少。公司还用 Cloudflare OS 把 Salesforce、Workday 等系统记录和公司知识集中到一致界面，并开源给客户使用。组织结构上，Cloudflare 希望借助工具把经理平均直属下属数从传统约 6 人推向约 12 人，以减少层级，但 Prince 强调这只是方向，不应教条化。

三、核心观点：推理、例子与边界

Prince 的核心判断是，开放 Web 面临的不是传统意义上的流量减少，而是流量的经济属性改变了。过去搜索爬虫抓取内容，网站得到回流；现在 AI 抓取可能把价值留在模型、聊天界面或代理服务中，网站却仍要承担带宽和服务器成本。他用午餐代理扫描本地所有菜单的例子说明这种失衡：如果机器访问没有边际价格，代理就可能把“查几个菜单”扩展成“查所有菜单”，最后只有一家餐厅得到消费，其他网站只留下成本。

他的解决方案可以概括为重新建立可定价的访问。HTTP 402、按次微支付、用途声明、默认阻止和机器人识别，本质上都是把“免费复制的信息”重新改造成“有条件访问的数据”。空气和水肺潜水的类比表达的是同一套逻辑：不是信息天然应该昂贵，而是当信息生产昂贵、复制廉价、机器需求巨大时，无约束供给会让市场失灵。Cloudflare 位于超过 20% 的 Web 前面，因此它不只是观察者，也是有能力改变默认设置的基础设施参与者。

这个方案的限制同样清楚。第一，Cloudflare 的权力悖论无法消失：公司说自己服务客户，不想判断内容好坏，却可以通过默认设置影响 Google、AI 公司和网站之间的交易。第二，微支付能否真正激励普通创作者仍未得到证明；Patel 追问“创作者也许会直接去 TikTok”时，Prince 没有完全解决这个问题。第三，Prince 关于未来自动化流量达到人类流量一千倍、Reddit 每 token 交易价值、Park City 报纸 AI 授权收入等说法，都来自节目中的嘉宾陈述，应当理解为案例和判断，而不是普遍测量事实。

Prince 对内容价值的判断更进一步：他认为 AI 市场会奖励不可替代的新知识，而不是重复性的全国政治评论，或为注意力经济反复改写的同一条新闻。他把 LLM 描述为带有孔洞的人类知识数学模型，AI 公司想填补这些孔洞。Park City 本地报纸的例子说明，旅行规划 AI 需要知道当地新餐厅；Reddit 的例子说明，社区经验、长尾问题和真实讨论在授权市场中可能比可替代的主流报道更稀缺。这里的推理不是“Reddit 质量一定更高”，而是“不可替代性可能更值钱”。

Patel 指出的反作用也很关键：如果媒体开始为模型生产内容，作品本身会被分发方式改变。酒店房间级评论、未发表笔记、更多照片和元数据，可能让过去被舍弃的素材产生价值，也可能把新闻从面向人类读者的编辑成品，推向面向模型摄取的事实供应链。Prince 接受这种可能性，但没有完全解决编辑判断、来源保护、读者关系和作品完整性的问题。

在企业组织层面，Prince 的观点同样围绕成本与激励变化展开。AI 先压缩的未必是最具创造性的岗位，而是可测量、可审计、可文档化的 measurer 工作。投资者关系材料从两周缩短到三分钟，是他用来说明流程化测量工作被工具重写的例子；builder 生产力提高，则让工程师和产品经理变得更有价值。这不是所有岗位被同等替代，而是不同职能的杠杆发生了变化。

不过，数据化管理的边界也在节目中被反复标出。Patel 质疑，并非所有行业都像软件公司一样自然留下 Slack、代码提交、系统记录和业务日志。Prince 承认，代码提交等指标会被游戏化，真正要追踪的是行为是否带来收入增长、成本下降或协作改善。他也承认模型会误判明星员工，并拒绝把 AI 描述为自动化管理者。较稳妥的理解是：AI 可以增加经理视野，帮助发现被忽视的人才；但如果它变成不透明、无人问责的晋升或淘汰机器，就会迅速滑向去人性化管理。

四、学习与应用

对内容网站、出版商和知识社区来说，这期节目最实际的启发，是先区分人类访问、搜索索引、AI 训练和 AI 代理调用。过去，robots.txt 或搜索引擎流量关系可以粗略处理抓取问题；现在，站点需要知道谁来、为什么来、是否回流、是否造成成本、是否产生授权价值。小网站未必马上能建立付费市场，但至少应开始梳理哪些内容只是可替代流量内容，哪些内容具有独特、本地、社区化或专业知识价值。

HTTP 402 式微支付如果成立，适用条件不是“所有页面都收费”。Prince 的思路更接近分层：人类读者可以继续免费，或通过广告、订阅支持；机器基础访问支付极低费用，用于覆盖成本；高价值新闻、研究、数据库、地方信息再加价。边界在于，摩擦过高会让 AI 公司绕开来源，价格过低无法支持创作，过度依赖某个基础设施平台又会带来新的集中化风险。

对媒体生产者来说，AI 授权市场可能奖励“模型不知道但用户需要知道”的内容。地方餐馆、酒店房间、社区经验、细分专业知识、原始素材和未被充分覆盖的问题，都可能比第十篇全国热点评论更有谈判价值。但这种转向有代价：如果生产流程主要为模型优化，编辑判断、叙事完整性、来源保护、品牌关系和人类读者体验都可能被稀释。可行做法不是把所有素材无差别倒给模型，而是建立明确的授权层级、来源保护规则和人类读者优先的编辑边界。

对 AI 公司和平台来说，Prince 的论点意味着只解决“能不能抓”还不够，还要解决“抓取后谁得到钱和认可”。金钱可以通过授权、分成或按次访问安排；认可更难，因为答案引擎会切断原始来源访问和声誉回报。无论是否采用 Prince 提出的诺贝尔或奥斯卡式机制，模型产品都需要更可靠的来源标注、贡献可见性和创作者反馈，否则 Wikipedia 式社区贡献下降可能扩展到更多知识领域。

对企业管理者来说，Cloudflare 案例的应用边界也很清楚。AI 最容易先改造测量、审计、报告、资料汇总、流程监控等工作，因为这些任务数字化程度高、重复性强、输出可校验。把这些流程做成工具，可以扩大经理管理跨度、减少层级，让个人贡献者管理更多 agent。但这需要足够的数据基础、清晰的组织目标和人类问责；没有日志、没有结果指标、没有隐私边界的公司，不能简单照搬软件公司的管理模型。

最后，AI 绩效识别应该被当作辅助信号，而不是判决机器。它可以用来发现被坏经理、低曝光或组织盲区埋没的人，也可以提示谁需要帮助；但代码提交量、回复速度、摄像头行为等单点指标都容易被误读或游戏化。更健康的边界是：AI 提供候选线索，人类经理核查上下文；评估追踪到收入、成本、协作和客户结果；员工知道哪些数据被使用；晋升、裁员和奖励保留可解释的人类责任。

来源

• 原始节目：Can Cloudflare save the web from AI? | Decoder