Anthropic离自我改进还有多远？Wes Roth解读中的研发加速、评测边界与审计缺口

一、主讲人与议题背景

《Anthropic just built it...》由Wes Roth主持并上传。节目元数据显示，发布日期为2026年11月6日，时长2,437秒，即40分37秒。这期内容是Roth对Anthropic研发自动化材料的解读，并非一场与身份经过核实的嘉宾所做的访谈。

Roth关注的是AI参与自身研发所形成的反馈关系：当AI不仅完成外部任务，还能参与研发下一代AI，技术进步的速度会如何变化？他讨论了自己所称的Anthropic修订版申报材料，以及Meter开展的一次独立驻场审计，将两者作为理解研发加速的相关线索。

据Roth介绍，审计持续了11周，节目也引用了研究员访谈。听众接触到的，仍是经过他选择、转述和解释的报告与访谈内容。研究员没有在这期节目中接受追问，所给证据也未包含原始文件的完整上下文。因此，节目报道的内容、被引用者的判断与Roth自己的推测，需要分别理解；这些材料可以支持分析，却不能替代对内部系统或原始审计的独立核实。

二、本期主要内容

Roth首先讨论的是AI在研发组织中承担的角色。他将使用程度分为几个阶段：从几乎不用AI，到辅助、协作，再到由AI主导项目，最终走向全面自动化。据他转述，Anthropic内部由AI主导的项目占比，从当年3月的1%升至8月的26%。这一变化涉及研究任务由谁组织和主导，但统计单位是项目，不能据此认定四分之一的研发劳动、成本或科学成果已经自动完成。

这种变化是否接近安全政策中的加速阈值，是节目的另一条主线。Roth将旧版负责任扩展政策与约两倍的加速联系起来：起初，他描述的是相对于没有AI时的研发进展；后面，他又讨论相对于历史水平的能力进步速度。他报告的中心估计约为1.9倍，后段还提到1.97，同时表示实际加速可能接近1.3倍或3倍。节目没有提供足够定义来消除这些口径差异，略低于2的中心值因而不能被当作明确的安全分界。

Roth反复强调，所讨论的加速并不归因于训练算力扩张得更快，而被描述为算法进步。由此需要考察的，不只是硬件投入的数量，还有资源如何转化为更有效的研究。不过，这一归因并不意味着研究不再需要算力，也没有排除智能体推理、实验运行和模型训练之间发生资源重新分配的可能。

节目还介绍了一组尚未公开发布的内部模型。按Roth的说法，Model Two于2026年7月完成训练，Model Three在8至9月完成，Model Four在9至10月完成。他通过AECI观察这些模型的进步，并将其描述为一组结合内部与外部基准的评测。但他没有找到AECI缩写的解释，展示的部分子基准也只有通用名称。

Roth报告的是各模型在这组评测中的最低分：Opus 4.6约为10%，Mythos Preview约为20%，Mythos 5约为35%；Model Four则在所有所含基准上超过50%。最低分提高，意味着这组测试中原先最薄弱的环节也在改善。但这些数字既不是平均能力分，也不是所有科研工作的完成率。它们显示了模型能力与测试难度的相对位置正在变化，而现有公开信息仍不足以重建整个评测过程。

三、核心观点：推理、例子与边界

“AI开始主导项目”与“AI已经形成自我强化的研发闭环”，是两个需要分别验证的判断。Roth转述的项目占比从1%升至26%，支持研发组织方式正在变化的判断，却没有说明各项目是否同等重要、是否仍需大量人工筛选，以及成果能否稳定用于后续模型。要证明递归自我改进，至少需要确认几步之间的联系：AI产出有效研究，研究改善后续AI，后续AI再提高研究效率。节目为其中一些环节提供了线索，但没有展示整条链已经持续运转。

是否跨过两倍的加速阈值，也不能只看中心估计的小数点。Roth给出的中心值约为1.9，同时表示真实值可能接近1.3或3。因此，“尚未达到2”只能描述中心值的位置，不能据此确定是否已经越过风险门槛。他对比较基线的解释又在“没有AI时的研发进展”与“历史能力进步速度”之间变化，数值和统计口径的不确定性都需要保留。节目提到的范围，也不能自动视为某个置信水平下的正式统计区间。

评测部分的关键，是测试能否区分被测对象的能力。Roth以水平相当的棋手对局、双方胜率约为50%作类比，又设想用幼儿园问题招聘技术人员：即使候选人全部答对，也很难据此区分其专业水平。反过来，让普通人做奥赛题，接近零分同样可能掩盖能力差异。高分或低分本身都不足以说明测量是否有效，关键在于题目难度是否与被测能力相匹配。

Model Four在所有所含基准上超过50%，因此值得继续检查测试难度，却不能直接称为全部基准已经饱和。超过50%与接近满分仍有很大距离。Roth讨论了准确率从98%升至99%时，进步为何不易直观看出，并介绍用对数几率观察表现。这种尺度转换可以帮助辨认变化，却不会增加更难的题目，也无法补齐缺失的方法说明。他将图中逐渐变宽的灰色区域解释为不确定性上升：当表现偏离测试约50%的匹配点时，模型虽然看起来更强，能力估计却未必更精确。

测试究竟包含哪些任务，同样影响成绩的含义。Roth列举了训练模型、运行强化学习流水线、生成合成数据和排查故障等可能的任务，随后明确说明，这些只是猜测。这些例子有助于理解研发能力评测可能涉及的工作，却不能证明AECI确实包含这些项目。基准名称、构成和可复核细节的缺失，使外部读者难以判断，分数对应的实际研究能力究竟有多广。

对增长曲线的解释也需要区分不同命题。Roth转述，随着更新模型出现，先前“​​Mythos Preview带来一次能力跃升，之后仍沿旧趋势发展”的假说显得不那么可信，持续的趋势变化成为更受支持的解释。但能力水平一次性上移、长期增长斜率变大，以及增长率继续增加，并不是同一件事。Roth明确读到，AECI趋势本身没有提供双曲增长的清晰证据。另有材料据称使这一假说更可信，但相关内容已被删节，读者无法用未见到的证据补足结论。

研究员反馈则让可能的提速机制更具体。节目引用的反馈称，从想法到实验的时间缩短了80%；另有研究员说，一些想法过去需要一至两天才能实现，因而根本没有尝试。还有人描述，将十个想法交给智能体框架，再观察哪些方向有效。这些反馈提示，AI可能不仅缩短既定任务的耗时，也会改变哪些想法值得付出实现成本。不过，实现更快不等于实验更有价值，尝试更多也不等于有效成果按同样比例增加。局部工作的反馈，不能直接换算成公司整体生产率。

Roth据此提出一个假说：某个未公开的智能体框架接收研究想法，并产出算法改进；算力分配的变化可能暴露其运作方法。这是他对材料的解释，他也明确承认自己可能判断错误。它可以成为后续核验的方向，却不能被写成已经确认存在的内部系统，更不能仅凭材料被删节，就认定递归自我改进的闭环已经成立。

四、学习与应用

对准备采用AI的研究团队，这些反馈首先提出了一个可以测量的问题：从想法到可运行实验，究竟能缩短多少时间？可以选择一类任务边界清晰、结果可检查的实验，记录人工实现时间、AI生成后的修正时间、实验能否成功运行，以及结果是否值得继续验证。节目中的80%缩时和一至两天实现成本，可以作为试验的参照问题，不能直接写入团队收益预测。如果瓶颈在运行资源、结果解释或后续验证，缩短代码实现时间所带来的收益仍会受到这些环节限制。

多想法并行探索也需要明确资源上限和筛选条件。节目引用的研究员反馈描述了将十个想法交给智能体框架、再观察哪些方向有效的做法；另一段反馈则将显著提升与Mythos Preview及一个未公开的框架联系起来。更多方案能够扩大尝试范围，但每个结果仍需检查质量，提交数量和运行次数不能替代研究产出。Roth还报告，截至2026年8月，约有三万个智能体从事研究与工程工作，却没有说明这是并发数量、累计活动还是其他统计单位。在口径明确之前，不能单凭这一数量推算效率或领先幅度。

审计的价值同样取决于检查范围。阅读时，需要分清审计方检查并公开了什么、检查过但未公开什么，以及哪些内容未检查或访问受限。Roth转述，审计原本包括核验能力研究与安全研究之间的算力分配，但范围在中途调整，算力核验被排除。他还区分了已经向Meter提供、但未向公众公开的资料，以及Meter自身访问受限的资料；后者包括关键研发投入、瓶颈细节和预测信息。独立审计的身份不能替代范围说明，被取消的核验也不能视为已经通过。

大量删节既有节目所述的商业理由，也带来无法复核的限制。Roth将Sam McCandlish介绍为Anthropic联合创始人，并引述他承认材料存在广泛删节；McCandlish给出的解释是，披露加速机制可能为竞争者提供路线图。这可以解释保密动机，却无法使缺失证据变得可验证。使用这类报告作决策时，应明确标出哪些结论依赖未公开材料，并将隐藏框架、算力分配变化等主持人的假说保留为待验证解释。判断越依赖这些内容，就越需要保留修正空间。

算力比例尤其需要保留分母。Roth对7月13日至20日内部快照的转述是：6%的算力用于AI研发，而流向AI驱动AI研发的算力中，12%用于安全。后一个比例不能改写为全部算力中有12%用于安全，也不能与前段含义不确定的“6%安全要求”拼接成一项已经核实的承诺。研究笔记或管理简报应同时保留比例的统计对象、时间窗口和来源层级；条件不完整时，应保留不确定性，避免计算出一个表面精确、含义却不明确的新数字。

这些材料对行动和预测的支持程度并不相同。实验更容易开展，可以成为采用有限试点的依据；内部基准表现更强，可以成为继续关注能力变化的理由；要进一步预测持续自我加速，仍需证明有效研究成果进入后续模型，并反过来改善研发。分别检验工作流、模型表现与反馈闭环，才能让已有证据支持相应判断，而不把尚未公开的机制当作已经兑现的结果。

来源

• 原始节目：Anthropic just built it...