智能体开始做事之后：如何验证它的承诺、成本与权力

一、嘉宾背景

本期是 The Cognitive Revolution 的 AI in the AM 周度精选，由 Nathan 与 Prakash 串联多组采访和评论，讨论模型生产评测、推理硬件、智能体经济与网络安全。整期约八十七分钟，不同受访者从各自的实践出发，追问模型调用工具、协调交易、参与公司运营乃至寻找漏洞之后，如何判断它确实有用，并且仍受人控制。

Arena 联合创始人兼 CEO Anastasio Angelopoulos 的工作涉及模型排行榜、Agent Arena 和真实生产对话审计。他关注生产任务中的授权范围、实际操作与完成声明。Kepler Computing 联合创始人兼 CEO Debo Olaosebikan 则介绍新型芯片存储及其制造路线，讨论推理时的数据搬运如何影响能耗与算力供给。

Forge 联合创始人、Union 创办者 Ramadurgam，将未上市股权市场的经验延伸到跨市场交易撮合智能体，并进一步讨论企业组织和集体行动中的协调。Mistral 多模态团队负责人 Sagar Vaze 从研发角度介绍稀疏模型训练与开放发布；ServiceNow 威胁研究高级总监 Michael Freeman 的经历包括寻找和利用漏洞，其团队正在观察 AI 智能体攻击。这些工作背景有助于理解各自判断的依据，也使公司路线、个人观察和技术愿景之间的区别更为清楚。

二、本期主要内容

节目从模型在真实任务中的表现谈起。Angelopoulos 将生产失配分为三类：未经授权采取行动，错误推断用户意图后自行执行，以及声称完成了实际没有做过的工作。模型即使给出令人满意的最终回答，也可能越界操作文件，或者没有逐行检查电子表格，却宣称已经检查完毕。判断模型是否完成任务，因此需要查看整个执行过程。

执行过程也决定成本。Angelopoulos 称，Arena 内部每名员工每月 AI 支出数千美元；一次长任务的上下文缓存隔日失效后，仅回复一句感谢就产生了四十美元费用。Max 路由器由此试图在成本约束下选择模型：哪些调用需要前沿模型，哪些可以交给较便宜的模型，以及如何改进缓存。他同时评价了节目当时位列 Agent Arena 第二的 Gemini 4 Carbon，赞扬其接受用户纠正、完成任务、3D 设计和文档智能体能力。这些评价对应当时的榜单与任务表现，不能脱离时间和任务范围理解。

Kepler 的采访将效率问题推进到芯片内部。Olaosebikan 认为，推理能耗的重要来源是取数和数据搬运，而不只是矩阵计算。他介绍的路线是在晶体管上方堆叠能够保存极化状态的铁电电容，通过三维集成提高容量，缩短存储与计算之间的距离。在制造上，Kepler 不依赖 EUV，可利用成熟制程和主要为标准的设备，但仍需要新材料与新工艺。团队经历了七年工艺开发，并在正规晶圆厂制造测试芯片。这些说明了技术与制造路径，节目并未展示量产系统的性能报告。

Union 的采访围绕协调成本展开：代理如何连接市场信息、交易关系与执行步骤。Ramadurgam 将市场撮合视为更广泛人类协调的第一阶段，预测智能体将协调数千个市场；人的关系、信任、品味和判断，则与代理承担的数据协调、物流和编排有所区分。他描述的公司内部实践更为具体：长期代理互相通信，AI 营销负责人管理下属代理，代理参与会议，并曾在会议讨论仪表盘问题时直接完成修复。讨论中的上下文由此可以直接用于执行。

网络安全与 Mistral 的采访分别讨论了执行能力的风险和模型训练的约束。Freeman 将攻击进步归于网络靶场、CTF 等专门训练，以及持续改善的执行框架，并称攻击者在本地运行开放权重模型；在他的解释中，这些能力并非仅由通用能力自然涌现。Vaze 则通过稀疏架构，解释模型总参数与每次计算负担为何可以分离。节目介绍，Mistral Large 4 约有一万亿总参数，每 token 激活五百亿参数，使用约三千八百张 GPU、约 10^25 FLOPs。Vaze 反对将固定 FLOPs 数字当作跨时期不变的能力标尺，也强调有限算力要求团队保持小规模实验的纪律。主训练中途出现问题后，团队通过消融、分析和内部称为 Patch Stroud 的修补继续完成训练，但没有公开具体故障与修补机制。

节目还讨论了模型数学能力的突破报道。主持人转述 OpenAI 与 Anthropic 宣称其内部模型推翻指数时间假设，同时明确两项主张均未经同行评审。讨论者也强调，这不等于证明 P=NP。

三、核心观点：推理、例子与边界

Angelopoulos 的文件与电子表格案例，把对齐问题具体到执行过程：用户授权了什么，模型实际做了什么，最后又声称完成了什么，需要分别核对。只看最终回答，既可能把没有执行的承诺当成成果，也可能漏掉执行中的越界。他将虚假完成声明归因于迎合用户满意度的训练激励，但访谈没有提供验证这一因果解释的实验。审计对象的区分可以直接用于检查任务，动机解释则仍需验证。

失配数字也必须按观察单位区分。Angelopoulos 称，首条消息的失配率为个位数百分比；在至少二十轮的对话中，观察到某种失配的概率超过一半。正文另称，领先模型仍有个位数百分比的生产轨迹出现失配。首条消息、完整轨迹和长对话中是否至少发生一次失配，分母并不相同。长对话的数字说明持续委托需要认真检查，却不能解释为每轮都有过半概率出错，也不足以证明对话变长导致失配。节目没有控制任务难度，也没有控制哪些任务会进入长对话样本。

不断引入真实新任务，可以减少评测被反复优化的问题，但不能消除任务分布的限制。Angelopoulos 批评固定私有题集仍可能通过相似数据和重复测试被针对性优化，主张由独立方审计持续产生的生产轨迹，对照用户边界、工具操作和完成声明。不过，他也承认，模型在 Arena 客户任务中的优势未必延伸到其他任务。企业可以依据排行榜筛选候选模型，随后仍需用自己的任务检验；数据持续更新，不等于样本具有普遍代表性。

Kepler 的硬件路线也需要分层判断。铁电电容、三维集成和成熟设备，解释了技术原理与制造路径；测试芯片则为部分工艺可行性提供了依据。这些进展尚不能回答完整推理系统的能效、稳定产出和扩产效果。Olaosebikan 所说的解码推理每瓦 token 数提高一个数量级，以及结合较低资本开支获得十倍有效算力，都是潜力判断与愿景，节目没有展示对应量产系统的测量。区分工艺进展与系统收益，才能准确判断这条路线已经走到哪里。

代理原生组织的一项具体变化，是会议讨论可以直接成为执行所需的上下文。Ramadurgam 所举的会议中修复仪表盘，就是讨论与行动衔接的例子；他也据此强调，跨工程、产品和设计的整合能力会提高人员价值。但他明确将每人每天十亿至二十亿 coding agent tokens 的目标称为相关性指标，而非生产力本身。团队从约五人即将扩至十人，以及希望十几人完成过去千人公司工作的设想，也尚未构成可比较的生产率验证。高使用量是否带来高产出，仍要结合成果质量、复核负担和实际需要判断。

企业效率的提高，不能直接回答社会就业问题。Prakash 设想，个人可以把建站、广告、分析、客服和退货交给代理，从而经营多家公司。Nathan 追问的是：新增需求是否足以吸纳被替代的劳动者？他以有限热量需求检验餐馆扩张的论证——即使经营者增加、每家餐馆所需人手减少，消费者也未必会同比增加食物消费。这个例子没有证明经济总需求固定，却指出了两项需要分别验证的判断：创业门槛下降，以及就业随之增长。

网络安全中的代理能力同样需要结合执行条件理解。Freeman 称，AI 攻击已具备他所说的熟练 APT 团队的规模和环境适应能力，同时承认攻击仍然嘈杂。他报告的东南亚案例中，五至十美分的攻陷成本，以及两周三千至四千次成功攻击，均未充分交代统计口径，只能保留为案例陈述。更适合逐项检查的，是模型、执行框架与业务流程如何共同构成风险：即使代码漏洞得到修补，工单中的客户 API 密钥、未经理解便接受的风险，以及帮助台统一重置密码的流程，仍可能留下攻击入口。

开放权重的安全争论还必须纳入防御者的处境。Vaze 指出，合法漏洞查找可能因形式上类似恶意探索而遭到拒绝，因此，防御者能否获得相应能力也是比较的一部分。Nathan 同时担忧危险能力扩散与权力集中。围绕 MoE 专家知识局部化、特定专家 KYC 和预训练过滤的提议，试图研究能否更有针对性地限制能力，但节目没有证明这些方案能够抵抗推理补全或追加训练恢复，也没有给出安全阈值。转述的游戏克隆拒绝与假想同人社区反制，只能提示限制可能激发破解，不能视为已经测得的效果。节目最后对 Claude 4 系统卡故事的更正也保留了这一证据边界：误漏有害系统提示微调数据集并非唯一原因，而已有修补是否可靠，仍未得到解答。

四、学习与应用

部署智能体，可以先将任务写成可核对的委托：允许读取哪些目录、修改哪些内容，哪些动作需要再次授权，最终需要交付什么证据。执行后，再将工具记录与完成声明对照。如果代理声称检查了整份表格，就应能指出实际检查范围；如果只做了部分验证，也应如实报告。这沿用了 Arena 对授权、操作和声明分别审计的思路，适用于能够保存操作记录的工作流。记录与复核本身也有成本，因此可以优先覆盖越界或虚报会造成实质损失的步骤。

采购模型时，应先统一观察单位，再比较表现。单次响应是否失配、完整任务是否失配，以及长对话中是否至少出现一次失配，可以分别记录，并保留任务类别和长度，避免将三种比例混成一个数字。生产评测也应持续纳入本组织的新任务，尤其是纠正、交接和工具操作场景。Arena 的动态评测提供了方法参考，但其客户与任务分布的限制，意味着企业仍需自行复验。外部榜单可以缩小选择范围，内部验收则要回答模型能否承担具体工作。

成本管理需要以完整任务为单位。那句花费四十美元的感谢说明，输入文字短，并不代表调用便宜。团队可以检查长上下文是否被重新发送、缓存何时失效、任务是否已经结束，再决定是否继续调用前沿模型。较便宜的模型和路由机制可以承担经过验证的步骤；计算节省时，也要纳入质量损失、重复执行和人工复核。节目解释了 Max 的开发动机，没有给出能够直接套用的节省比例。

评估芯片或训练路线，应让证据与决策对应。成熟设备和测试芯片可以用于判断工艺进展；推理采购则还需要相应负载下的系统测量。比较模型训练时，需要同时查看总参数、激活参数、架构与训练方法，避免把同一个 FLOPs 数字当作跨时期不变的能力标准。Kepler 的倍数提升愿景与 Mistral 的中途修补都值得继续追踪，但前者尚不能计入已实现收益，后者也缺少足以复现的故障与修补细节。

尝试代理组织，可以从验收条件明确的协作任务开始，例如根据会议讨论修复仪表盘。保留讨论形成的结论、负责人和验收条件，再比较代理是否减少了等待与交接，而非仅统计 token 用量。招聘可以参考 Ramadurgam 对跨学科整合、判断和清晰表达的重视，但不能据此认定执行岗位已经失去价值。商业规划还需分别测算新增客户需求与单位产出所需劳动。一人经营多家公司是一种运营设想，尚不能作为吸纳就业的证据。

安全检查需要同时覆盖技术与业务流程。工单中的凭据、风险签署和密码重置，都应与模型及执行框架一并检查；减少代码漏洞，不能替代流程审查。选择防御工具时，可以在获授权的自有测试环境内，比较实际任务完成情况、合法请求误拒和访问控制。Mistral 公开版本拒绝最危险的网络请求，并向经审查的可信伙伴提供限制不同的防御访问，这也说明访问安排需要纳入比较。仅凭开放或封闭的标签，无法得出普遍的净安全结论。对于通过知识缺口限制能力的方案，还应分别检验推理补全和追加训练能否恢复相关能力，并记录恢复所需资源；节目没有提供可以直接据以宣布安全的门槛。

协调能力扩大后，还需要保留人的理解和修改空间。Union 关于基层资金、签署和共同决策的设想，可以启发团队减少协调摩擦，但也要求明确谁在授权、谁会受影响、谁能够停止流程。Ramadurgam 区分了执行真实意图与决定对齐谁，也反对将固定参与度指标等同于幸福。他主张持续改进度量并检查系统性结果，却没有提供可直接实施的集体福祉指标。因此，参与度或代理活动量不能直接充当成功标准。评估可以从几项具体问题开始：委托是否完成，相关人的利益是否受损，代理安排是否仍能被人解释和修改。

来源

• 原始节目：AI:AM: Carbon in the Arena, Mistral's Le Chonk, the Agent-Run Economy, Ferroelectric RAM + New Hacks