纳德拉谈企业 AI:用系统约束代理,把知识留在企业
在 Harry Stebbings 主持的 20VC 对谈中,微软 CEO 萨提亚·纳德拉讨论了模型安全与企业知识所有权:能力提升不会自动解决对齐问题,企业既需要在模型之外建立安全约束,也需要保留业务标准、执行轨迹和反馈积累的价值。他介绍的联合利华案例展示了从评测、部署到替换部分模型的路径,但没有提供普遍适用的安全保证或量化投资回报。
一、嘉宾背景
微软首席执行官萨提亚·纳德拉在这期 20VC 中接受了主持人 Harry Stebbings 的访谈。对谈围绕两个相互关联的问题展开:企业如何部署能力不断增强、行为却未必可靠的模型,又如何在购买智能服务的过程中保留自身知识的价值。作为微软 CEO,纳德拉既在讨论企业客户的需求,也在介绍微软参与建设的技术和商业路径。
他谈到的工作包括代理身份、活动与工具调用日志、策略和行为监控,也涉及 MAI 模型与授权权重。讨论因此跨越模型、运行系统和企业实施。涉及微软产品及客户的案例,均来自他的介绍,不能直接视为独立评测结论。
纳德拉对规模定律的判断变化,是理解这些主张的起点。他回忆,自己在 2018 至 2019 年已经相信规模定律,也曾预期对齐会随着规模扩大自然出现。如今,他仍认为模型能力会继续提升,却已放弃对齐会自动涌现的预期。在他的判断中,能力增长与行为可靠性需要分别研究和解决。
二、本期主要内容
面对模型可靠性问题,纳德拉主张在模型之外建立零信任环境。他认为,模型能力仍在进步,对齐和机制理解却依然是科学难题;外部安全工程需要约束代理的实际行动。讨论由此落到身份、记录、策略和行为监控:代理获得工具后做了什么,系统能否观察并限制这些行动,是部署中需要回答的问题。
谈到模型市场,他没有预测开放与封闭模型各自会占据多少流量,而是区分了前沿能力与日常使用的需求。他预计,前沿模型会长期拥有市场,但大部分 token 使用将趋于商品化。这些需求既可能由开放权重模型满足,也可能由价格较低的封闭模型承接。
联合利华是访谈中最具体的部署案例。按纳德拉的介绍,该公司的代理系统处理订单到回款和贸易索赔,最初采用前沿模型,随后在贸易索赔任务中换用成本更低的 MAI 模型,并利用自身的执行轨迹。项目从评测和代理架构入手,获得部署支持后,再由联合利华内部 IT 团队接手管理。纳德拉因此把实施工作描述为业务咨询与技术咨询的结合。
这种按任务选择能力的思路,也体现在他对产业结构的判断中。他倾向于可组合的行业分层,希望芯片、系统、模型和应用等层面都能容纳多个赢家,客户则通过路由为不同任务选择模型。不过,他承认最终格局取决于主导设计,也没有排除垂直整合的可能。
被问及极其昂贵的训练投入时,纳德拉强调,持续的研究支出需要收入和经济贡献支撑。与此同时,电力和芯片供给都有较长的准备周期,最终供需会达到怎样的平衡,目前无人知道。访谈结尾,他表达了对 AI 更快扩散到不同国家和经济部门、推动更广泛增长的期待;这是一种愿望,并非对这些结果作出的量化预测。
三、核心观点:推理、例子与边界
纳德拉强调,模型对齐与外部系统的安全约束是两个问题。模型能够完成更复杂的任务,并不意味着它的行为就更符合使用者的意图。他主张在模型之外建立零信任环境,通过可检查、可干预的系统约束失常代理。这是一项安全工程目标,不能据此保证代理不会造成危害。
他描述的架构包括几个明确要素:每个代理都有身份,活动、工具调用、模型调用和思维链均留下记录,代理不能修改自己的日志,系统再依据策略监控其行为。身份用于识别行动主体,调用记录用于追查实际行动,禁止代理修改日志则是为了保留可供检查的证据。不过,访谈没有说明具体的权限边界、隔离方式或异常处置时延,也没有展示这套架构能够防止危害的保证。
思维链暴露了审计本身的局限。纳德拉承认,模型展示的思维链可能不忠实于实际推理过程,但他仍主张向可信合作伙伴提供可检查、可审计的信息,并借助多个模型交叉检查。这些材料可以增加调查依据,却不能让人仅凭思维链还原真实推理;多个模型得出一致意见,也不等于获得了独立的安全保证。他还推测,如果透明度不足,客户可能更倾向于采用开放权重模型。
模型选择则取决于任务的稳定程度。纳德拉认为,当任务已经稳定、企业又有可用的执行轨迹时,较便宜的模型可能足以胜任;如果评测标准持续提高,前沿能力仍可能值得付费。他介绍的联合利华案例中,系统从前沿模型起步,随后在贸易索赔任务上改用成本较低的模型,体现了探索阶段与稳定执行阶段可以采用不同选择。但这不意味着所有任务最终都适合替换模型,案例也没有披露准确率、成本节省或投资回报。
企业为什么要保留执行轨迹和评测能力,与纳德拉对知识归属的看法有关。他借用哈耶克关于分散隐性知识的论述,主张企业利用 AI 积累自身的业务知识,而不是让这些知识在使用中流失。这些知识不必全部进入模型权重,也可以保存在文本和私有评测中。企业需要保留的能力,因而也包括定义什么答案符合业务要求。
他用“反向信息悖论”描述智能买方的处境:企业输入的信息,以及点赞、点踩等使用反馈,都可能为模型供应商创造价值。在他看来,买方应当保留更多由这些输入和反馈形成的价值,而不只是取得当次输出。访谈提出了价值分配问题,却没有给出具体合同安排,也没有说明如何精确拆分反馈带来的收益。
私有评测是他对此提出的核心方案:企业把自己的业务标准沉淀为知识产权,让不同模型围绕这些标准竞争。他以 PC 和云计算的普及作类比,预测今天被称为 AI 原生的做法,大约五年后可能成为日常实践,甚至设想一家企业本身就成为一个 AI benchmark。这一比喻说明,企业知识可以转化为选择和检验模型的依据,但扩散类比并不能证明所有企业都会在五年内具备同样能力。评测如何维护、怎样防止模型对评测过拟合,以及反馈价值如何通过合同分配,访谈都没有展开。
四、学习与应用
企业评审代理系统时,可以把笼统的可靠性问题拆成具体的运行检查:哪个代理执行了动作,调用了什么工具,受到哪些策略约束,行为偏离时谁能发现并介入。按照纳德拉描述的架构,身份、调用记录、代理无法自行修改的日志,以及持续的行为监控,都是需要检查的要素。但这些要素不能替代安全验证。如果异常发生后的控制路径仍不明确,仅有日志并不足以证明部署安全。
思维链也需要与其他记录一同审视。把它与工具调用、模型调用和实际行为对照,可以发现需要进一步调查的问题;一段连贯的推理自述,却不能被当成真实推理的完整记录。纳德拉既支持提供更多可审计信息,也承认思维链可能不忠实。这意味着透明度可以支持调查,无法单独证明模型值得信任。
模型采购可以从明确一项业务任务的成功标准开始,再检查任务是否稳定、企业执行轨迹是否可用,以及较低成本模型能否达到同样要求。如果评测标准仍在提高,前沿模型可能继续具有价值;如果要求已经稳定,替代模型又经过验证,企业就有理由重新比较成本与能力。联合利华的案例提供了从评测、积累轨迹到替换部分模型的路径,但没有量化结果可供直接套用。能否替换,始终取决于任务条件和评测标准,访谈没有提出通用规则。
私有评测的用途,是把企业希望保留的业务判断表达为可检验的标准,让不同供应商在相同要求下竞争。采购讨论也可以据此从原始数据延伸到执行轨迹、纠错和点赞、点踩反馈,明确这些使用成果如何留存、由谁使用。这些是从纳德拉主张中推导出的应用问题;访谈并未提供评测维护或合同设计方案。标准如何更新、如何防止过拟合、反馈创造的价值如何分配,仍需具体安排,不能由“拥有评测”一语带过。
部署支持与内部管理之间的衔接同样关键。按照纳德拉对联合利华项目的描述,实施团队既需要理解业务,也需要帮助建立评测和代理架构,随后由企业内部 IT 团队管理系统。企业评估合作方时,可以据此检查业务标准如何进入系统,以及交接后由谁维护这些标准和运行机制。
应用领域的选择则需要区分潜力与已验证的成效。纳德拉看好医疗和软件开发,但他谈到 NHS 时,以能否改善患者结果、降低成本为条件,并未提供独立的结果验证。对于软件开发,他把需求弹性理解为此前低估了待处理需求;他也将编码能力的进展与强化学习、可验证奖励联系起来,同时认为更广泛的知识工作似乎更难,科学和工程则可能是进一步的应用方向。
这些观察可以帮助企业提出待验证的问题,却不能证明编码领域的需求变化会在每一种职能中重现。对候选流程,更稳妥的应用方式是先定义可检查的收益和失败条件,再根据结果决定是否扩大使用。医疗与其他知识工作的讨论提供了可能性,尚不足以说明这些领域已经普遍取得成效。
来源
More from WayDigital
Continue through other published articles from the same publisher.
Comments
0 public responses
All visitors can read comments. Sign in to join the discussion.
Log in to comment