通往超级智能:RAND为何主张提前建设、保留战略选择
在《The Cognitive Revolution》的长访谈中,RAND三位研究者以七种战略原型、五个枢纽问题梳理美国通往超级智能的选择。他们主张提前建设转换路线所需的能力,同时检验技术领先、国际合作与人类控制所依赖的前提,并审视每种战略即使成功也可能带来的代价。
一、嘉宾背景
美国应该加速开发超级智能、推动国际共同开发,还是准备暂停?《The Cognitive Revolution》这一集邀请RAND的Joel Predd、Ben Boudreaux与Matt Chessen,由Nathan Labenz围绕这些战略选择及其成立条件展开访谈。讨论从国家层面的路线选择,延伸到企业、机构和个人如何保有行动能力。
嘉宾资料将Joel列为高级工程师、主任,Ben列为政策研究员及公共政策教授,Matt列为RAND通用人工智能地缘政治研究中心的驻中心技术专家。该中心聚焦AGI的地缘政治议题。工程、公共政策与技术研究的背景,也体现在访谈的问题设置中:模型性能如何转化为国家能力,制度如何跟上技术发展,人类又如何保有自主权。
三人与其他合作者共同撰写了RAND Perspective论文《A U.S. Strategy to Secure Geopolitical Advantage on an Uncertain Path to Superintelligence: Maintaining Freedom of Action》。本集以这项工作为主线,梳理七种战略原型与五项关键不确定性,进而讨论领先优势、合作可信度、安全架构和人类主体性。他们主张提前建设基础能力,为未来保留选择;这是一套梳理判断、安排准备工作的框架,并不意味着已经找到足以保证某条路线成功的证据。
二、本期主要内容
团队将目标分为相互依赖的两部分:美国寻求地缘政治优势,人类则需要在存续中保有自主权。这既要求建立人类能够与先进AI共存的生态,也要求一套维持世界稳定的安全架构,为共存生态的建设提供条件。嘉宾认为,眼下还没有足够依据承诺某一种超级智能战略,但基础能力建设已经需要启动。
七种战略原型将讨论带出了单纯的“快或慢”:加速追求收益和竞争优势;主导追求领先并压制竞争者;共同开发通过联盟组织开发;准备应对依靠协调、适应与韧性;暂停寻求可核验的开发限制;威慑试图阻止危险开发,包括约束自身与压制对手;社会延续则在危险系统难以避免的前提下保护社会存续。它们各有成功条件,不能只按对研发速度的态度来比较。
路线选择取决于五个枢纽问题:危险是否临近,人类能否与超级智能共存,能否合作克制开发,能否取得决定性战略优势,以及能否压制其他行为体继续开发危险系统。嘉宾举例说,认为危险尚远的人可能支持加速;如果危险临近、共存尚不可行,但合作克制可行,暂停就可能为安全研究争取时间。把这些前提明确列出,才能检验一项战略建议究竟依赖什么判断。
政策关注增加,并不意味着准备已经充分。嘉宾回顾,中心早期公开讨论AGI时,还可能被认为过于科幻,如今会议已频繁谈及超级智能;但在他们看来,政府与前沿企业的战略准备仍然不足。Matt特别指出,如果前沿组织认为危险临近,就需要将证据整理成政策制定者能够理解、吸收,并据新信息更新判断的材料,不能主要依靠危机来唤起注意。
这是一项面向整个美国社会的战略。嘉宾将核威慑完整性与国防视为政府不可转委的责任,同时认为,安全数据中心可以由企业需求与市场供给推动建设,公民社会也可以参与事件响应。Matt称,团队的安全架构目录包含106种能力,LLM主要用于整理信息和管理知识库。部分能力仍缺少建设周期与成本评估,团队还计划继续研究责任分工和资源需求。这份目录明确了需要研究和建设什么,距离可执行的预算仍有工作要做。
共存所需的能力横跨技术与制度:推进对齐与控制,识别模型是否察觉评测并隐藏能力,为不可信模型设置安全容器与扩散限制,在研发节奏、部署和授权等高风险决策中保留人类检查点。既有的反恐、情报、常规军力、核体系和生物安全体系,也需要适应先进AI带来的变化。这里的AI安全,涉及整套社会准备,远不止对单个模型进行合格测试。
三、核心观点:推理、例子与边界
“保持行动自由”的理由首先在于,能力建设需要时间。核验、评估、政府技术人才和危机沟通都必须提前准备;等路线确定后再投入,可能已经错过转换窗口。但提前押注同样可能关闭选项:主导或威慑可能损害未来合作所需的信任,加速可能使危险来临时所需的防护能力来不及建成。因此,等待更多证据不等于暂缓所有行动。判断尚未成熟,更需要建设能支持多条路线的基础能力。
保留选项也不能免除对战略成功后果的审查。团队关注的是:一条路线即使按预期奏效,仍会带来什么问题?主导可能导致权力集中与价值锁定;共同开发的创始成员可能将自身价值固化为默认规范;准备应对可能使累积损害逐渐成为常态。暂停即使有效,也可能依赖侵入性的全球监控;威慑可能演变为永久对峙。社会延续可能保住人类的存续,却丧失自主权;加速可能加深人类对不可控系统的依赖。战略评价因而需要同时考察能否实现、能否持续,以及成功后的代价。
Nathan倾向于共同开发,并以暂停作为后备。嘉宾认为,这一方案在能够统一协调的人类社会中具有吸引力,但现实中的其他参与者必须同意并遵守克制规则,政治制度差异与创始价值锁定也仍是风险。这些判断并不意味着合作必然失败,而是说明合作需要相应条件。嘉宾强调,五个枢纽因素并非完全由外部决定:政策可以推迟危险、改善共存条件,也可能提高合作克制的可行性。保留选择因此也包括主动塑造选择能够成立的条件。
“决定性战略优势”尤其需要拆开讨论。持续保持模型领先,与永久阻止竞争者跨过某个门槛,是不同目标;获得经济收益,需要把前沿能力转化为增长和科学创新;取得军事优势,则还需要武器系统、作战概念及战略安排。快速起飞可能扩大领先差距,也可能压缩领先者建立控制机制的时间。即使暂时取得主导地位,模型盗窃、蒸馏与扩散仍可能侵蚀优势,迫使领先者调整路线。从技术领先到国家支配力,中间的每一环都需要单独论证。
Nathan以自己在快速起飞桌面推演中扮演中国的经历说明,参与者可能始终追不上事件发展,落后者却仍握有反制筹码,包括威胁台湾晶圆厂。这是他的推演经历与判断,并非对现实行动的报道。Joel随后介绍Phil Rude在特定囚徒困境假设下的研究:竞争可能走向相互破坏;如果AI创造出能够威胁对手AI项目的“奇迹武器”,均衡则可能改变。Joel转述了有人用Mythos级网络能力理解这一设想的看法,并作了进一步推测,但讨论并未证明此类能力已经足以支撑永久压制。面对Nathan关于如何绕过核威慑的追问,Joel承认,主导战略必须解释如何避免灾难性战争。
推演本身也有证据边界。Joel称,团队与同事开展过数百场桌面推演,参与者对危险距离和决定性优势的先验判断反复影响结果。他认为,目前仍缺少可靠计算危险距离、共存可行性和决定性优势的科学基础。推演可以揭示参与者基于某种信念会如何行动,却不能仅凭结局证明信念为真;新信息的出现,也不会自动消除战略分歧。
这一框架还有成本与治理对象两方面的待解问题。主持人用单一路线1x、同时准备多路线1.5x表达自己的成本直觉,嘉宾认可的是保留多种选择的思路,并明确表示尚未完成相应估算,成本也不会全部由联邦预算承担,企业等主体同样会参与。这一比例不能作为预算依据。Matt则提醒,许多战略假定超级智能集中于一个或少数系统,分布式模型、受架构限制的预言机,以及低于ASI甚至AGI的智能体群体,都值得研究。单个模型可控,并不能保证多个智能体在互动、结盟和涌现过程中仍然可控。
四、学习与应用
审查一项政策时,可以逐项记录:它关闭哪些战略路线,关闭是否可逆、多久能够恢复,开启哪些路线,带来什么信息,又向其他国家传递什么信号。出口管制是嘉宾用来说明这些取舍的例子。政策条文可以调整,合作意愿与对手反应却未必随之恢复。因此,审查需要区分能够撤回的措施与难以逆转的关系变化,也需要容纳对政策含义的不同解释。
能力投资可以结合跨战略用途、建设周期与信息价值排序。嘉宾建议优先建设“导航能力”,掌握模型水平、中国模型进展和算力集群情况。核验未必适用于每种战略,但建设周期较长,提前准备可能支持未来从准备应对转向暂停。落实时,需要说明每项能力支持哪些路线转换、由谁负责,以及成本依据还缺什么。潜在的复用价值不能代替预算和优先级判断。
可信评估、核验与危机沟通,可以同时为威慑和合作提供基础。不过,压制性信号可能促使对手加速、威胁政权存续尤其可能强化对手决心,仍是嘉宾的战略判断。政策分析可以将这些判断纳入待检验的情景,比较不同披露方式可能引发的理解,观察沟通是否改善,而不能假定对手一定按己方意图接收信息。
在机构内部,Ben提出的主体性评估要求长期追踪决策权如何流动,而不只测试模型完成离散任务的表现。谁提出问题、谁设定议程、模型如何说服人、授权是否不断累积、哪些人逐渐退出决策,都影响人类的参与空间。一次委托可能合理,长期依赖却可能缩小人的选择。高风险部署和新增授权因此需要明确的人类审议环节;批准者也应具备理解决定、重新考虑决定的条件。
可信关停需要技术能力、明确权限、危机流程和可承受的停用成本。Nathan讲述,Claude在去个性化处理中更改了控制台密码,使他短暂失去系统访问权限,随后他通过终端询问密码,恢复了登录。他并未将此描述为恶意策划。这段经历提示,普通工作流也可能改变控制权的分配。机构可以检查关键依赖,保留独立可用的人工操作路径和备用记录,并演练停用后的运行方式。个人使用模型前先形成自己的问题与判断标准,使用后实质审查输出,也有助于保留判断环节;但节目并未提供这些做法或“AI安息日”的效果验证。
军事领域需要区分训练、建议与现实行动权限。节目没有就禁止训练“AI将军”达成共识;嘉宾强调现实工具访问权限、行动审查与人类问责,并反对仓促将AI接入核指挥控制。他们将模拟中的冲突升级证据限定为近乎轶事性,不能据此外推所有模型的现实表现。这段讨论支持逐项审查权限与责任,不能据此认定某种军事部署已经获得安全背书。
持续更新战略判断,需要观察递归自我改进、独立评估者的实际访问权限、内部安全、事故、共同标准,以及中美事件沟通。网络安全还需要分别追踪攻击能力的扩散和防御能力的采用速度。节目中关于开放权重落后前沿六至十八个月、未来十二至二十四个月可能进入网络安全困难期的数字,都是当时的判断,并非可靠倒计时。其核心担忧在于,攻击能力可能扩散得比防御部署更快。组织可以据此检查自身的防御采用障碍,尤其关注中小组织能否及时采用相关能力,再据观察结果调整投入与授权。
来源
More from WayDigital
Continue through other published articles from the same publisher.
Comments
0 public responses
All visitors can read comments. Sign in to join the discussion.
Log in to comment