Wes Roth 的 Gemini 与 Swarm 实测：视频理解、长程代理与评测证据的边界

一、主讲人与议题背景

《Gemini 4 Swarm is out of control...》由 Wes Roth 主讲，内容结合技术评论与个人项目展示。节目元数据将主持人和上传者均列为 Wes Roth，上传日期为2026年11月13日，时长1810秒，约三十分钟。

Roth 的中心判断是 Google 正在强势回归。他将模型消息、外部榜单、视频制作演示和自己的代理项目联系起来，试图说明模型的价值正在延伸至完整工作流程。这是基于其观察与使用经历作出的个人评价。节目中的产品名称、用途与效果描述，也应按其归属理解，不能直接视为经过独立核验的发布信息或性能结论。

按 Roth 的介绍，Carbon 是讨论的三款模型中最大的型号，Argon 居中，Hydrogen 则是一款强调速度、由 Carbon 蒸馏而来的模型；他还称 Hydrogen 已用于 Google 搜索的 AI 回答。这些型号差异贯穿后续案例。某次剪辑、某轮游戏运行和某项榜单成绩分别涉及不同模型与条件，不能合并成同一模型的一组可比表现。

二、本期主要内容

Roth 先以 Vending Bench 2 的成绩说明自己看好这组模型的理由。他将这项评测描述为让模型经营一家自动售货机企业，模拟时间约为一年，并报告 Carbon 排名第一、Hydrogen 第三、Argon 第五。节目没有详细介绍足以复核这些排名的方法与条件；相比榜单，接下来的视频制作案例更具体地呈现了他认可的能力。

在剪辑案例中，Roth 说自己把原始素材交给 Carbon，让它删去口误、重录片段和静音，再加入图形。结果包含章节、信息图和订阅按钮；讲到太空激光时，还配上了低地球轨道与卫星星座示意图。他尤其看重模型能根据内容自行选择图形，这已涉及编辑判断。但图形与主题相关，仍不等于科学表达准确，成片还需要内容核查。

这些剪辑工作的型号归属，在口述中并不完全一致。前面的案例明确归于 Carbon；Roth 随后说，本集节目由 Argon 剪辑，后面又提到正在尝试让 Carbon 剪辑这一集。因此，仅凭节目中的说法，还无法确定整集最终由哪个型号完成。能够确认的是，他正在将不同模型用于视频制作；这些经历尚未构成条件清晰的型号对照实验。

音乐视频案例呈现了更明确的分工。Roth 说，底层片段由他与 Claude 协作整理，过程中提到了 Seedance；Gemini 负责拼接片段，并加入蛇形元素、音频可视化和矩阵代码叠加层。他还特意说明，展示的部分图形由代码制作。这个案例体现的是素材组织、主题把握与后期制作能力，整段成片不能笼统归为 Gemini 从零生成的视频。

随后，Roth 给 Carbon 提供了一段与开源发声器官模拟项目有关的音乐短片，要求它识别主题，再换用另一首公版音乐创作相似作品。识别参考内容只是任务的起点，模型还要决定哪些关系值得保留、如何在新作品中重新组织。由此生成的成片，也成为他判断模型能否理解视频语境的主要依据。

三、核心观点：推理、例子与边界

Roth 判断模型是否理解视频，主要看它能否把握画面中的关系。他描述的成片中，一个人正在睡觉，猫把床头的水杯推向边缘，浮动的人头像组成合唱。文字转录可以留下“不要碰杯子”或“不要吵醒爸爸”，却难以完整传达猫的动作、睡眠者的处境与合唱之间的笑点。Roth 看重的正是这种语境理解：模型将参考作品中音乐与视觉的配合方式，移到了一个新的情境里。

他也认为，成片的审美效果不及参考视频。理解作品结构、作出创意选择和完成有感染力的成片，是彼此相关的不同能力；一次笑点的成功迁移，还不足以证明模型能稳定理解各种视频。节目还转述了 Ethan Mollick 的一项演示，称 Carbon 用 Three.js 重建了火车影像。Roth 据此推测，将视频转成代码表示，可能便于继续修改其中的元素。但节目没有给出几何误差、可修改范围或跨场景稳定性，尚不能据此认定模型可以精确还原任意视频中的三维世界。

Factorio 项目把考验转向了连续操作。Roth 说，Carbon 利用已有模组搭建了供语言模型使用的操作框架，让代理采矿、发展工业并研究技术；多次运行都达到了建设铁路、运行火车的初始目标。他反复用“逆向工程”形容这项工作，但从其描述能够确认的成果，是搭建了一套可用的游戏操作框架。已有模组与接口共同支撑了这一结果，评估模型能力时也需要将它们计入。

任务的完成程度，则需要结合 Roth 后来的补充判断。他起初称项目基本一次完成，随后承认，游戏内回放还经过了一轮修复。另一项发射火箭的尝试，在录制时已运行接近十小时，建成七台电力采矿机、十一座化工厂，并推进到高级石油加工，火箭仍未发射。铁路目标达成、回放功能修复和火箭任务完成，各有各的完成标准。生产链已经展开，并不意味着最终目标已经实现；他对后续进展的乐观预期，也应与当时的运行结果分开看。

Roth 赞赏 Carbon 能迅速交付所需的功能引擎，也承认文档、打磨和基准设计得到的关注较少。这说明工具链已经能够运行，但要成为可信评测，还需要统一任务规则、检验结果能否重复，并明确失败如何计入。功能演示展示了系统能做什么，要据此比较模型高下，还缺少这些条件。

他的另一项自建评测采用类似奇幻美式足球的对抗形式，将棋类规划、概率判断、资源分配、风险管理与对手行动结合起来，再用随机事件迫使模型调整计划。这种设计试图检验模型能否根据当前状态重新决策。不过，随机性也增加了解释单场胜负的难度。Roth 报告 Argon 在早期测试中的胜率极高，同时明确表示，需要更多对局才能确认结果是否准确。强劲的开局值得继续测试，样本不足时还不能确立稳定领先。

Roth 还用他所称的 Max Bench 讨论答案记忆的风险。这项评测保留谜题的推理结构，只更换人物或庄园名称，再观察分数是否下降。他认为，大幅下降值得怀疑，但也承认自己没有深入研究结果，并注意到小模型与大模型的表现存在差别。这类变化可以成为调查鲁棒性或数据污染的线索，单凭分差还不足以认定作弊。速度同样限制了能力的实际价值：按 Roth 的使用感受，Carbon 在高推理设置下明显更慢，大约耗时三至四倍。这个比例只是粗略印象，并非在统一任务条件下测得的稳定速度比。

四、学习与应用

将这些经验用于代理项目，首先需要明确测试目标。Roth 的 Factorio 环境没有敌人攻击，并允许远距离放置建筑。他解释，自己主要想考察模型对生产前置条件和布局的理解，而非导航能力。这些设置减少了其他操作对生产链规划的干扰，也限定了结果的适用范围。实际测试可以先减少无关干扰，再逐步加入约束；规则改变后，成功率也需要重新测量。

自然语言动作接口同样影响结果。Roth 描述的操作包括寻找资源、走到指定坐标、采矿、向熔炉投料和推进游戏时间。要分清失败出在规划还是执行，就需要保留模型发出的动作、环境返回的信息以及随后的状态变化。合理的生产计划可能因接口执行失败而中断，顺利完成任务也可能受益于宽松的动作权限。明确动作边界与完成条件，才能减少将工具表现误判为模型推理能力的情况。

并发测试还需要控制启动节奏与资源使用。Roth 说，一次由 Claude 管理的测试在数秒内相继启动了约五十至一百个后台实例，随后他的 Google Gemini 账号便不再接受请求。他转述的论坛解释称，后台使用受到支持，也会消耗周配额，但高流量、无人值守的循环可能触发自动反滥用保护。账号在申诉后恢复，原计划中的 Carbon 与 Hydrogen 测试却受到影响。这段经历提示项目需要设置并发上限、停止条件并记录失败，但无法据此推导通用的安全实例数：节目没有测出这样的阈值，论坛解释也只是经 Roth 转述。

这次后台实例激增，还应与内置的 /Swarm 预览功能区分。Roth 在 Factorio 项目中使用了后者，介绍了共享代理通信板和协调者与代理的关系图，并给这段项目体验打出 A+。这些界面为检查协作提供了入口，可以用来追踪任务是否重复、代理是否等待，以及协调者是否收到结果。不过，协作过程可见，并不能直接证明效率更高。决定是否采用多代理时，仍需让单代理与多代理在相同任务、相同完成标准下比较，并记录返工、耗时和资源消耗。

成本也需要按任务记录。Roth 称 /Swarm 消耗配额较多，并将近期不少用量与 Factorio 项目联系起来，但他同时承认，多个项目之间的具体分配并不清楚。他提到的周配额百分之六十，因此不能视为 /Swarm 的独立成本测量，也不能直接当作完成一次 Factorio 项目的价格。更可靠的做法，是记录每项任务运行前后的用量，将未完成的尝试、重试和修复一并计入。额外协调是否带来足以抵偿成本的结果，以及服务约束是否允许持续运行，决定了这类能力能否成为可持续的工作流程。

来源

• 原始节目：Gemini 4 Swarm is out of control...