Gemini 4 Carbon：Google 重返榜首之后，哪些能力仍待验证

一、主讲人与议题背景

《Google is BACK (Gemini 4 Carbon)》由 Matthew Berman 主持并上传，节目元数据将播客标为 Matthew Berman / Forward Future，记录时长为885秒，即14分45秒。本期围绕 Google 的模型公告与评测展开，内容主要是 Berman 对发布材料的解读。

Berman 阅读公告、解释排行榜，并讨论 Gemini 4 Carbon 的价格和开放安排。“Google 回来了”是他对这些公布成绩的总体判断，但这一判断有明确的证据边界：评论时 Carbon 尚未公开可用，他也明确表示自己没有使用过。因此，本期呈现的是他如何根据公告与评测重新看待 Google，而非基于亲自使用 Carbon 得出的产品实测结论。

二、本期主要内容

节目首先讨论 Google 在综合排名上的进步。Berman 展示的 Artificial Analysis Intelligence Index v5 成绩为：Carbon High 59分、Opus 5.5 58分、Astra 57分、Argon 50分。他将这一变化视为 Google 竞争力增强的信号，并指出 Argon 才在两周前推出。但这段时间内的提升究竟来自持续训练中的后续检查点，还是后训练，他没有给出定论。分数差距已经呈现，背后的训练关系仍未明确。

在具体任务中，Carbon 的领先程度并不一致。Berman 将 Terminal Bench 4.0 介绍为考查终端命令编写与执行的评测，报告 Carbon 为65分、Argon 为57分、Astra／Astro 与 Opus 为59分、Fable 为52分。在 Agent's Last Exam 中，他报告 Carbon 以77.4分居首；在电脑控制评测 OSWorld 中，Carbon 则以81.5分排在 Opus 5.5 之后。Vending Bench 考查经营自动售货机的收益表现，节目给出的最终银行余额是 Carbon 约1.6万美元、GPT-6 Astro 约1.5万美元。这些金额属于评测结果，不能直接视为现实经营收入。

网络安全既是节目讨论的能力重点，也是理解开放安排的背景。节目将漏洞发现、漏洞利用和修补分别对应到 SEC Bench Pro、Exploit Gym 与 CWE Bench，并报告 Carbon 的 CWEbench 成绩为71分；在 Exploit Gym 中，Carbon 为54分，Astro 为42分，Opus 为34分。按照 Berman 读出的 Google 公告，发布流程包括参与美国政府自愿性发布前测试，先向选定的网络防御人员提供访问，再通过 Fairwind 项目扩展至可信伙伴；更广泛的开放将在收集反馈、迭代护栏之后推进。公告没有给出普遍开放的确定日期。

价格也附有尚未明确的时间条件。节目引述的初期优惠价为每百万输入 token 2美元、每百万输出 token 10美元，之后分别升至4美元和20美元，缓存输入享有95%的折扣。优惠期持续多久没有说明。因此，判断 Carbon 的经济性，既要确认它能完成哪些工作，也要确认实际使用时适用哪套价格。

三、核心观点：推理、例子与边界

Carbon 的综合指数领先，并不意味着它在每一类实际任务中都是最佳选择。Carbon High 在 Artificial Analysis Intelligence Index v5 中获得59分，支持的是它在这一版本指数上的领先地位。OSWorld 则给出了不同的排序：按节目展示的结果，Opus 5.5 仍领先于 Carbon。Berman 自己也表示，在电脑和浏览器操作中，他更偏好 GPT 模型。综合排名、单项测试和个人使用判断因此需要分别看待，它们回答的并不是同一个问题。Vending Bench 中约1.6万美元的最终银行余额，呈现了 Carbon 在另一类任务中的表现，但不能替代真实业务中的经营验证。

成本也不能只看 token 单价。Berman 强调，完成任务的费用还取决于模型需要消耗多少 token。他展示的图表中，Carbon 的用量约为12.3万 token；据他介绍，这约为 Sonnet 5.5 和 Haiku 5.5 的一半，比 Opus 5.5 少约20%。随后，他又引用 GPT 6.1 Soul Max 约6.8万 token 的数据，并将其解读为更高的智能密度。Carbon 的效率优势由此有了明确的比较范围：它相对部分模型更节省 token，但仍有用量更低的竞争者。节目没有提供足以复算所有任务成本的完整明细，图中的关系不能直接套用到任意工作负载。

质量与成本图解释了另一层区别：旗舰模型登顶，不等于整个产品组合占优。Berman 认为，Carbon 在图中处于质量最高的位置，却不是最便宜的选项；GPT 6.1 的不同版本则大体处于帕累托最优位置，即没有其他方案能够同时提供更高质量和更低成本。他据此认为 OpenAI 的整体产品组合最强，并建议 Google 补充更小、更快、更高效的模型。这一判断承认了多种选择并存的价值，但图中的最优位置仍取决于质量指标、成本口径和纳入比较的模型，不能自动转化为每个团队的最优采购方案。

安全数据同样需要连同评测条件一起理解。Berman 转述 Google 的说法称，Carbon 在 Terminal Bench 4.0 中的成功作弊率为0%，尝试作弊率为0.4%，准确率也有所提高。他还报告，无依据陈述较 Argon 约减少一半；当模型发现用户要求与自身理解不一致时，会提出问题。这些结果支持特定评测和行为观察中的改善，却不能证明模型在开放环境中不会作弊或给出错误陈述。“减少一半”是相对变化，也不意味着剩余错误可以忽略。主动询问可能减少擅自猜测，但其实际价值还取决于问题能否帮助任务继续推进。

网络安全分差的解释则有更明确的不确定性。Berman 相信 Anthropic 降低了公开模型的相关能力，并推测 Google 比较的是这些公开版本；节目没有将这一说法确立为经过核实的测试条件。因此，它不足以解释全部分差，分阶段开放本身也不能证明安全性已经得到验证。Berman 最终仍因没有使用过 Carbon 而偏爱 Opus 5.5，同时对 Google 更加乐观。他对公布成绩的评价与个人产品偏好，建立在不同的证据基础上。

四、学习与应用

将这期节目用于模型选型，首先需要保留每项判断的来源：哪些来自厂商公告，哪些来自评测图表，哪些是主持人的使用偏好，哪些仍是推测。Argon 到 Carbon 的训练路径尚未明确，就不能把某一种训练方法写成能力提升的原因；更广泛的访问没有确定日期，也不宜据此安排必须依赖 Carbon 的交付。在获得访问之前，可以先准备待测任务与验收要求，之后再检验公布成绩能否转化为实际表现。

测试任务应对应具体工作。需要终端编程能力的团队，可以参考节目对 Terminal Bench 4.0 的介绍，准备要求实际执行命令并检查结果的任务；依赖桌面或浏览器操作的团队，则需要单独检验电脑控制能力。终端评测的高分不能替代后一类测试。授权范围、完成标准和人工复核点也应提前写明，以便区分失败究竟来自命令执行、界面操作，还是对要求的理解。节目中不同评测的排序差异，说明了拆分测试的必要性，却不足以直接替团队选出赢家。

预算可以按优惠期和优惠结束后两套价格分别估算，同时记录输入、输出、缓存用量，以及返工后最终完成的任务数。缓存折扣只应计入确实符合条件的输入。由于节目未说明优惠期限，也未提供完整成本明细，图中的 token 用量更适合作为待验证的成本假设，不能直接写成预期节省比例。质量门槛也需要先确定：单次调用便宜，但结果需要反复修复，未必能降低完成任务的总成本；质量更高的旗舰模型，也未必适合承担所有简单步骤。

安全数据可以转化为具体的验收问题。面对“成功作弊率0%”的报告，仍需检查模型是否遵守任务约束、陈述是否有依据，以及发现歧义时能否提出有用的问题。测试中应保留日志和人工抽查，不能因为某项基准的结果就取消审核。审核投入与潜在错误之间如何取舍，取决于工作本身；节目没有提供适用于所有场景的统一阈值。

材料中的名称和数字也存在未解决的问题。转录交替使用 Astra 与 Astro，并出现一个孤立的 Astro OSWorld“8.9”分；另一个基准被转录为 Swee Sweep，Berman 也表示自己不熟悉。在没有进一步证据时，不宜据此进行精确比较，也不应自行修正名称或数字。

Factory 的赞助段落需要单独辨明来源。口播介绍了 droids、missions、通过实际操作应用进行验收的验证器，以及模型路由，并宣称总体成本降低63%、84%的路由会话至少节省50%。这些是节目中的广告主张。任务分工、应用操作验收和模型路由可以作为测试方向，但若采用类似方案，仍应在自己的任务集上测量效果，并将验证器与路由环节的成本一并计入。

来源

• 原始节目：Google is BACK (Gemini 4 Carbon)