递归自我改进开始了吗？Dwarkesh Patel论研究自动化的反馈回路与现实瓶颈

一、主讲人与议题背景

这期约44分钟的Dwarkesh Podcast由主持人Dwarkesh Patel独自展开论证。他将其作为一篇解释自己为何改变预期的文章，讨论AI参与自身研发后，能力提升如何可能加快下一轮研究，并形成递归自我改进。

Patel说，过去三个月里，他对进展所需时间的预期显著缩短。他区分了两个阶段：先实现最优秀人类AI研究者的自动化，再通过研发加速，使系统在其他领域达到顶尖人类水平。从前一阶段走向后一阶段，仍需要解释能力如何扩展和迁移；研发工具已经有用，本身不足以证明全面的专家自动化即将实现。

对于第一阶段，他给出的中位年份是2028年，条件是实验室继续推进，没有主动减速或受到政府要求的减速限制。他认为2027年也有可能，同时为2032年之后才实现保留至少25%的概率。这是一项附带条件、包含显著延后风险的预测，而非已经确定的技术时间表。

二、本期主要内容

Patel认为，递归自我改进已经在AI研发中显露迹象。他援引METR的材料称，Anthropic在范围明确的任务上的进展速度达到一年前的两倍，其中多数加速可能来自AI辅助研发。他随后转述OpenAI的数据：内部编码代理使用量最高的10%研究用户，日均支出从约1000美元升至超过7000美元。他还援引Anthropic称，Claude主导的AI研发工作比例从2月的不足1%升至26%。这三组数据分别衡量任务进展、使用支出和工作主导比例，不能相互替代，也不能合并成一个统一的生产率倍数。

数学能力的进步，是他重新判断研究自动化前景的另一项依据。他声称，OpenAI在88小时内解决了一道千禧年大奖难题；但所提供的转录没有指明题目，也没有给出验证依据，因此只能将其作为Patel的说法保留。他同时承认，现有进展更多体现在反例搜索等容易验证的工作上，模型能否提出深刻的新问题、开创新的研究领域，证据仍然薄弱。这部分论述支持的是明确问题求解能力可能用于研究的类比，不能据此认定所述数学突破已获验证。

Patel进一步认为，机器学习与数学衡量研究价值的方式有所不同。数学重视新概念和理论理解，解决孤立猜想未必带来同等深远的影响；机器学习研究则更直接地看重能否通过算法改进降低成本、提高能力。因此，即使模型主要依靠持续搜索、组合已有知识和反复试验，也可能作出重要贡献。他以Transformer为例：注意力、残差网络等组件此前已经存在，但将它们组合成有效架构，仍需要配套调整和大量小实验。他据此推测，未来模型可能完成类似发现；这仍是对未来研究能力的推断。

技术附录将这套论证落实到预训练、后训练和推理效率三类算法研发上。Patel认为，这些工作拥有可操作、可验证的指标，既能为强化学习提供奖励，也能让并行代理在合并成果前检查各自的改动是否有效。他的论证因而取决于一个条件：足够多的重要研究工作能够获得可靠反馈，从而支持反复训练、并行分工和成果筛选。

三、核心观点：推理、例子与边界

Patel认为，研究加速有三个独立来源：工作速度、研究质量和研究者数量。他估计，当前AI的工作速度约为人类的十倍，加上昼夜运行，一个自动化研究者每周可能完成约五十倍的工作。他还判断，前沿实验室的算法进展高度集中于少数顶尖研究者，因此，复制顶尖研究者的能力可能比增加普通助手更有价值。但这些估计不能直接换算成科研进展的倍数。他明确承认，实验不会随着研究者思考提速而同步加速，增加研究者也存在递减收益。

并行研究是否有效，取决于工作能否拆分并分别验证。数据处理、强化学习环境和注意力内核可以独立改进，让大量代理探索不同路径。不过，局部成果最终仍需整合，代理也要共享实验资源。这些任务说明，增加研究劳动可能带来收益，却不能证明研究者数量与整体进展之间存在固定比例。

预训练效率的提高，可能形成更强的递归反馈。如果更小的模型就能达到相同能力，降低的不只是下一次训练的成本：基于它开展实验、生成强化学习采样以及运行研究代理，也可能同时变得更便宜。同样的算力因此可以支持更多研究者，缩短的训练周期则能让新算法更快投入下一轮研发。Patel甚至设想，算法更新可能快到让一次长期大规模训练尚未结束，就被采用新方法的小模型超越。这种反馈能否持续，仍取决于效率突破能否不断出现。

他据此提出两种长期情景：“纯软件奇点”和“火花”。在前一种情景中，自动化研究者的能力提升快于研究难度上升，即使算力固定，进展也能持续加速；在后一种情景中，一年内完成按当前速度需要约三至六年的进展，随后受到硬件约束。他主观地为两种情景各赋予50%的概率。分歧的关键在于：容易发现的改进逐渐耗尽后，研究者能力的增长能否继续抵消问题难度的增加。这些概率表达的是他的判断，并非测量结果。

研究品味能否训练，是这套论证中的一个难点。判断某次实验是否降低了损失，与选择有长期价值的研究方向，并不是同一项能力。Patel提出，可以把部分研究判断转化为预测任务：让模型判断一亿参数规模上的改进能否迁移到一百亿参数规模，再用实验结果提供反馈。他承认，这类评估成本更高，小规模成功也不保证大规模成功。对于既有指标可能漏掉范式变化的质疑，他指出，Transformer曾在已有翻译基准上显示优势，推理模型也能通过已有编程和数学基准体现价值；还可以采用更外层的测试，例如考察模型学习陌生游戏的速度。这说明既有指标有时能够识别新方法的价值，但不能保证预先选定的指标能捕捉所有重要突破。

从AI研究自动化走向各领域的顶尖表现，还需要解释能力如何迁移。Patel设想，规模更大、种类更多、持续时间更长的模拟环境，可以训练规划、坚持执行、学习和协作能力，例如让模型在模拟经济中创业，或完成历史预测练习。他对迁移能力的信心，部分来自使用当前模型的体验，部分来自人类进化产生通用学习能力的类比。这些是推断的依据，还不是未来系统能够普遍达到专家水平的实证。

即使能力很强，系统仍需要现实经验。在Patel设想的企业管理场景中，AI可以迅速读完组织资料，让多个副本并行访谈员工和客户，但下一季度的经营结果依然需要等待。持续学习则可能直接阻碍顶尖研究者的自动化。他提出两条可能路径：将有效上下文延长到数月，或让尚不具备持续学习能力的模型先研究出相关算法。他也明确保留了相当大的失败可能性：持续学习迟迟无法解决，而其他优势不足以弥补这一缺陷。具体的反馈机制使他的加速判断有了技术依据，但这些机制能否跨过长期记忆、研究方向选择和现实反馈的限制，仍未确定。

四、学习与应用

对研发团队而言，Patel的论述提供了一种安排代理工作的思路：先明确要改进什么，再选择验证方式。预训练可以比较留出集损失，或达到固定损失所需的算力；后训练和学习效率可以从计算、数据、时间、反馈需求，以及适应陌生环境的表现来评估。推理效率则可以通过GPU利用率、每token缓存开销、前向计算量和延迟衡量。使用这些指标，需要保持比较条件一致，并明确节省的是哪一种资源。单项指标改善，不能直接等同于总体能力或研究价值提高。

团队可以据此为代理分配范围有限的实验目标，要求它提交改动、测量结果和适用条件，再决定是否合并。数据过滤、合成数据生产和环境构建也可以纳入这一流程，因为在Patel看来，它们本身就是能够改进和评估的研究任务。相应地，材料产量不能单独作为成功标准，还要检验它们是否改善了留出目标或新任务表现。便宜的反馈允许更多试验，也更需要分清局部指标与整体目标。

实验依然消耗真实的算力和时间。Patel认为，研究劳动变便宜后，可以投入更多精力开展小实验、逐条检查强化学习轨迹、进行消融分析，并仔细设计由多个研究者共同参与的实验。对算力紧张的团队，这意味着可以先用较多研究劳动筛选假设，再决定是否投入大规模训练；一次共享的大实验，也应提前明确要区分哪些假设，并在完成后充分分析结果。这种安排的价值在于提高每次实验获得的信息量。如果检查和协调的成本超过节省的计算，或小规模实验无法呈现关键现象，就不能预设它仍然有效。

跨规模预测同样需要验证。Patel援引GPT-4报告和μP，说明较小实验有时能够预测更大规模训练的某些表现或超参数，并提出继续寻找这类缩放关系。团队可以记录预测、实际结果和失效条件，逐步确定哪些关系适用于自己的研究。已有成功案例并不意味着所有小模型改进都能迁移；代理提出了多少方案，也应与其中多少完成验证分开记录，避免将工作量误作科研产出。

技术规划还需要分别考虑算法改进和硬件建设的周期。在Patel的“火花”情景中，初期加速之后仍可通过扩充硬件继续进步，但芯片、晶圆厂、数据中心和机器人的建设将以年而非月计。短期实验效率提高，可以支持更频繁的研发决策，却不能自动缩短物理供给周期。由此推导出的规划方法，是围绕可观察的瓶颈分配资源：先检验现有算力能否得到更有效的利用，再判断哪些项目必须依赖新增硬件。这一方法来自他提出的加速机制，并不构成对其时间预测的确认。

来源

• 原始节目：Recursive self-improvement has started