把电脑交给代理之后，人还要控制什么？OpenAI 两位嘉宾谈执行、信任与软件界面

一、嘉宾背景

访谈开场由 Cima Amble 与同事 Fabrizio Serafini 介绍两位 OpenAI 嘉宾：Ari Weinstein 和 James Sun。所附系列资料中的主持人署名与这一开场不同，本文采用转录中的介绍。现有材料没有确认两位嘉宾的正式职务，因此不为他们补充产品负责人或研究主管等头衔。

两人的讨论重心有所不同。James 说，Ari 更关注消费者应用，自己在企业应用上投入更多时间。James 还提到，两人在加入 OpenAI 前都曾创业；Ari 则表示，他们已在 OpenAI 从事 computer use 产品工作一段时间。对话因此既涉及模型如何操作电脑，也涉及用户如何接受代理、企业如何部署，以及创业公司能够提供什么价值。

他们以相关产品参与者的身份，分享工作观察、个人使用案例和发展判断。这使访谈能够呈现产品设计与部署中的具体考虑，也限定了材料的证据范围：关于领先程度、可靠性和采用速度的表述，应保留为嘉宾的主张，不能直接视为经过独立验证的结论。

二、本期主要内容

访谈所说的 computer use，是让模型通过人类使用的界面操作软件。Ari 强调，这种方式无需等待每个应用配备专用连接器或 MCP server；James 则将其视为复杂任务中的通用执行接口。代理由此可以进入旧采购系统、财务账本、浏览器和个人电脑，承担聊天窗口之外的工作。不过，通用执行接口解决的是如何进入和操作软件，具体任务能否可靠完成仍需验证。

嘉宾首先从使用感受谈起能力进展。Ari 说，转录中称作 Astra 的模型完成相同任务时，所需的思考 token 更少，平均速度更快，在 Microsoft Paint 中按对话要求绘图的创意表现和边缘场景的可靠性也有所改善。他用百分之九十九与百分之九十七的对比，说明细微可靠性差异对使用体验的重要性，并未提供对应测量结果。James 则称，模型抵抗提示注入的能力有所增强，非预期动作有所减少。他还提到内部游戏对战，以及网上约三十小时通关 Fallout 的说法，但这些例子并未建立游戏表现与企业任务成功率之间的联系。

企业需求的一部分来自旧软件。James 说，一些公司仍在使用十五至二十年前的系统，界面难懂，有时也没有 MCP 工具可用，因此开始编写 skills，教模型操作这些软件。他举出的采购流程，从约千行的实验室设备表开始，需要在内部采购软件中建立条目，再联系供应商。财务工作则涉及多个账本：完成月末核对，标记异常，并继续调查差异。销售线索整理和 CRM 录入，也属于这类需要跨系统推进的工作。

代理还被用于产品探索。James 开发羽毛球视频标注软件时，让代理注册、试用其他球类应用，截图并反馈。Ari 谈到的个人项目包括用 Apple Numbers 管理财务和膳食计划，以及一位教练朋友为客户制作定制材料。这些例子说明，代理可能让原本费力的项目更容易开展和维护，但访谈没有提供节省工时或产出质量的量化结果。

任务也未必都由用户逐项发起。James 说，dots 曾发现外部邮件邀请尚未进入他的日历，并询问是否在 Gmail 中接受。他还回顾了此前按小时或半小时运行的 Slack 自动化：通知有时有用、有时无用，久而久之便被忽略。相比固定频率推送，他更希望直接给出判断目标，例如关注汇报链上的发言或关键产品反馈，再由代理筛选值得处理的信息。他描述的另一条工作流会提取 Sentry 日志并分析产品反馈。主动发现线索、跨应用执行和分析反馈，由此成为彼此衔接的工作。

三、核心观点：推理、例子与边界

速度会同时改变用户委托任务的意愿和监督代理的方式，这是贯穿访谈的一条主线。Ari 区分了两种等待：代理在后台处理事务时，用户可以做别的事；如果结果挡住了下一步工作，或者用户必须一直核查，延迟就会直接削弱代理的价值。速度因此不只是性能指标，也影响用户是否愿意交出操作。不过，他关于产品最快、最便宜、最可靠，以及执行速度超过普通人的判断，并未附带任务集、成本口径或比较数据。OpenAI 仍提供不同价格和质量档位的模型，较低价模型的电脑操作能力也在改善，具体任务仍需要具体选型。

执行越快，逐个观看鼠标动作就越难成为有效的监督方式。James 因此强调可配置的人工介入和审计能力，并将 Guardian 描述为检查每个动作的模型：判断动作是否安全，是否符合用户最初的意图。它在应用中可能标为 auto approve。这套控制包含不同层次：应用和网站限制划定代理可以进入的范围；上传、下载或访问新网站的审批，决定哪些动作需要人工放行；Guardian 则判断具体动作是否符合情境。明确的权限边界与模型的语境判断承担不同职责，后者不能成为撤去前者的依据。可见光标和权限提示有助于用户理解代理正在做什么，业务结果仍需核查。

付款让这种分工变得具体。讨论中的用户希望代理负责执行，同时保留对业务条件的控制：为什么付款、付给谁、何时付款，以及三十天账期对应什么折扣。界面需要呈现付款依据，并允许用户修改规则。让人重看整段点击过程，很难回答这些问题。自动化越深入，目标、条件和责任就越需要清楚可见；执行负担减少之后，业务控制仍然存在。

James 描述的餐饮流程，展示了整合工作的分量：分析后仓照片，结合次日客流预期判断补货需求，通过 Shopee 或采购软件下单，再进入 ERP 调整排班。识别、预测与操作在这里相互衔接，会点击只是其中一环。James 将采用过程分为理解能力、连接工具、部署和服务，并强调行业知识、监管、市场进入和客户服务的重要性。他认为，当下的创业护城河在于速度和痛点。这是他对机会的判断；餐饮案例没有披露预测准确率或经营回报，整条流程的实际效果仍缺少量化结果。

网站是否愿意接纳代理，也取决于自身的商业利益。James 指出，依靠广告收入的出版商可能面临代理访问与收入之间的冲突。对于愿意合作的网站，他看好人先浏览酒店、航班或商品，再由代理处理繁琐交易步骤的分工，Web MCP 是其中一种实现路径。能否操作网页只是技术条件，网站的收入机制和合作意愿同样影响采用前景。

这并不意味着传统界面会消失。Ari 预计，旧软件和新软件将长期共存。James 为妻子制作的五子连线棋战术训练器，则说明了定制界面的另一层价值：训练器可以贴合她的学习偏好，代理可以在练习后汇总错误，但学习仍需要她亲自参与。两位嘉宾都重视经过设计的界面、学习过程和直接操作。软件生成成本降低之后，理解具体的人如何使用软件，仍是产品工作的核心。

日常体验的割裂也会限制采用。James 说，Chrome、桌面应用内置浏览器和云端环境分别保存密码、cookies 与标签页状态，用户因此难以弄清代理究竟在哪里工作。他希望改善这些环境之间的一致性，但这仍是未来计划。两位嘉宾描述的采用正在加快，却尚不全面；James 提到的类似 YC 的周增长没有披露具体指标，云端服务触达手机用户乃至十亿用户则属于未来机会。这些表述反映了他们对发展方向的判断，尚不能说明大众普及已经完成。

四、学习与应用

将访谈中的思路用于实际项目，可以从一条边界明确、确实需要跨应用的流程开始，再确定代理承担多少执行。采购案例提供了一个切入点：明确输入表、待整理条目、目标系统和供应商沟通要求，先检查数据是否完整进入系统，再核查后续结果。这是根据节目案例推导的实施方法，并非访谈已经报告的客户成果。代理能够打开和操作软件，只验证了流程的一部分。

对于重复任务，James 建议像写产品需求一样描述工作流：交代目标、输入、约束、完成条件，以及何时必须交回人工。模型可以追问，也可能在没有及时获得回答时继续寻找上下文。敏感操作因此需要明确的授权条件，未回答的问题不能被当作授权。付款尤其需要事先确定收款对象、付款时间和折扣条件。权限限制、动作审批和 Guardian 的语境判断分别承担控制职责，业务责任仍需落实到明确的规则与人工介入安排。

监督方式也需要随部署形态调整。在 ChatGPT 中直接协作时，用户可以及时回答问题、纠正方向；通过 API 在云端执行时，用户未必在线，系统就需要预先决定何时报告成功或失败、如何确认结果，以及哪些事件应进入摘要。付款案例进一步提示，审计界面需要解释执行原因和所依据的规则。只有“已完成”的状态，无法让用户判断业务条件是否得到遵守。前期把这些要求定义清楚，才能减少后续逐条处理通知和回看操作过程的负担。

主动代理同样需要筛选标准。James 的 Slack 经历表明，团队可以先明确哪些人的信息、哪类产品反馈值得打断用户，再让代理把相关线索接入日志分析。每次检查都发送通知，仍可能让自动化逐渐失去关注。Ari 期待代理适应用户、主动识别需要帮助的情境，同时由人继续设定和引导目标。落实到产品中，发现问题和获得执行权限需要分别处理，尤其当后续动作涉及外部沟通或业务变更时。

对垂直产品团队而言，餐饮案例可以用来逐项检查交付链：照片与客流信息怎样进入流程，采购与排班怎样衔接，部署后的服务由谁负责。James 对行业知识、监管、市场进入和客户服务的强调，也意味着团队需要证明自己能够解决这些连接问题。一次模型演示尚不足以支持成本下降的结论。面向具体任务的界面可以建立在旧系统之上，共享智能层也可能减少应用与个人代理之间的割裂，但不同应用、浏览器身份和会话状态仍是需要处理的实际问题。

面向消费者的产品，则可以保留用户愿意亲自参与的环节，将繁琐操作交给代理。James 的棋类训练器保留了练习过程，由代理汇总错误；网站上的浏览挑选，也可以与代理处理交易步骤衔接。Ari 提出的更快执行、多模态交互和实时协作，都是在当前后台任务之外继续探索的方向。它们可以形成产品假设，成效仍需通过具体任务判断：用户是否理解控制方式，结果是否正确，流程是否真正完成。近期增长的描述和远期触达愿景，不能代替这些验证。

来源

• 原始节目：Why OpenAI Is Racing to Make Computer Use Superhuman