Dyna Robotics 的世界动作模型：Jason Ma 如何把机器人推向真实工作流

一、嘉宾背景

这期节目来自 Latent Space，由 Alessio Fanelli 和 Shawn swyx Wang 主持，标题是《Robots That Predict the Future: Dyna-2 & Physical AI — Jason Ma, Dyna Robotics》。节目明确是一场对 Jason Ma 的访谈，而不是泛泛介绍机器人行业：主持人进入 Dyna Robotics 场地，看到了取饮料、洗衣房工作流、拿刀切菜等演示，并围绕这些演示追问 Dyna-2、数据、硬件和真实部署。Jason Ma 在证据中被标识为 Dyna Robotics 的 co-founder 和 chief scientist；Dyna Robotics 则被介绍为一家围绕 physical AI、通用机器人和 world action model 建设业务的机器人公司。

Ma 的背景为这期访谈提供了清晰的技术线索。他说自己高中时受到 AlphaGo 震撼而进入 AI，因为围棋曾被认为搜索空间过大，而强化学习展示了系统自我改进的可能。到 Penn 读 PhD 后，他想做强化学习，并在 GRASP Lab 进入机器人方向；PhD 期间，他研究如何连接强化学习与人类数据，以及更严谨地做强化学习理论。之后在 Nvidia，他和合作者研究灵巧笔旋转，却发现现实中缺少能可靠转笔的 dexterous hand，因而转向仿真；手写强化学习 reward function 的困难，促成了后来用会写代码的模型生成环境和奖励函数的 Eureka 项目。

他去 Google DeepMind，是因为 Gemini 等前沿模型可能加速机器人研究。但 Ma 在节目中解释，实验室研究常常由研究者自己设计 eval、自己评分，他开始怀疑这种工作距离真实影响有多远。Dyna 在 2024 年底成立，正是因为他认为相关技术已经到了可以推向现实世界的节点。由此也能理解本集的说话者位置：Ma 不是只在介绍一篇模型论文，而是在为一家研究加产品公司阐明路线，说明为什么 Dyna 要把模型、硬件、数据、推理栈和客户现场放在同一个系统里解决。

二、本期主要内容

节目主线，是 Dyna 如何把“预测未来”变成机器人控制系统。Ma 说 Dyna-2 是 Dyna 上月发布的 world action model，并称它是首个用超过 100 万小时数据训练的此类模型。它接收机器人摄像头在过去几秒捕获的视频或图像、关节角度等本体信息，以及人类给出的语言指令；输出包括机器人硬件可以执行的动作，也包括未来视频或未来世界状态的表示。换句话说，Dyna-2 不是把视频生成当作展示效果，而是把对未来的生成纳入动作控制。

主持人的问题不断把访谈从概念拉回工程现实。架构上，Ma 说 Dyna-2 底层是 diffusion transformer：transformer 负责吸收大规模数据，diffusion 或 flow matching 负责生成平滑、精确、细粒度的动作。他把这类动作生成类比为图像生成中的锐利边缘和细节，但强调机器人动作最终要落到执行器和关节上。

数据部分同样是节目中心。Ma 反复说明，机器人没有语言模型那样的互联网语料，所以 Dyna 的策略不是只靠自采机器人数据，而是先用尽可能多的数据训练强通用基础模型，再用少量任务数据适配。Dyna-2 报告中的模型以超过 100 万小时人类数据为起点；人类第一视角数据提供多样物理活动和 embodied actor 周围世界如何变化的先验，但人类动作和机器人动作并不相同，所以仍然需要机器人自身数据补足低层执行。

节目还详细讨论了商业化和系统形态。Ma 说 Dyna 机器人已在美国多个 Din Tai Fung 门店每天折叠数千张餐巾，并区分这种多站点部署和单点 pilot。硬件上，Dyna 选择 semi-humanoid：上半身接近人，有肩膀、手臂和四自由度腰部，下半身采用轮子。面对长时程任务，Dyna 计划用 high-level harness layer 包裹基础模型，让上层推理负责步骤规划、等待、切换任务和组合技能，下层 world action model 执行连续动作。节目最后的 Dyna 2.1 洗衣房和取饮料演示，正是这套分层系统的具体样本。

三、核心观点：推理、例子与边界

本集最核心的观点，是 Ma 对机器人基础模型的判断：机器人不应只预测下一步动作，而应尽可能预测世界本身会怎样变化。按照他的说法，人类在物理世界中行动时，会先预判“如果我这样做，物体、身体和环境会如何演化”。Dyna 把这种机制做成 world action model：先生成未来视频或未来表示，再用这些表示指导动作输出。Ma 因而把它类比为机器人在视觉和物理空间里的 chain of thought。他认为，这种方式能让模型更灵巧、更鲁棒，也更能泛化到未见环境；但这仍是 Ma 在节目中的技术判断和 Dyna 的路线主张，不是节目独立验证过的普遍测量结论。

节目中的演示让这个观点更具体。取饮料演示里，用户选择 vanilla shake 后，系统不是执行固定脚本，而是由上层推理模型规划去冰箱、拿饮料、返回、交给人的步骤；底层动作模型则要在六种饮料中选择指定目标，完成可控操作，并在交接时判断人是否已经抓住饮料，避免过早松手。洗衣演示中，机器人要把毛巾从洗衣机转移到烘干机，调整身体，伸手进入机器，避开门，还要识别掉落毛巾、判断其已脏并放入脏衣篮，随后关门、选模式、转旋钮、按按钮。这些例子说明，Dyna 关心的不是孤立抓取动作，而是模型、身体、视觉上下文和高层流程怎样共同完成真实工作。

第二个核心观点，是 Dyna 对“规模化”的理解更接近机器人版 bitter lesson。Ma 认为，只要传感器和数据选对，扩大数据规模就会带来可预期的模型回报；他也主张保持算法相对简单，而不是加入大量手工先验。但机器人比语言模型更难，因为“正确数据”不是天然存在的文本，也不是可以直接爬取的网站语料。Dyna 因此把人类第一视角数据、机器人自身数据、定制任务数据和未来可能的合成数据放进同一个组合。早期模型几乎能从各种多样数据中受益；模型变强后，高质量数据会越来越贴近任务、硬件形态和部署环境。

节目讨论的训练闭环也体现了这一点。Ma 描述新任务通常先由人远程操作收集少量机器人数据，训练后在真实设置中部署评估；如果模型大约达到 70% 到 80%，团队就观察失败点、补采数据、再训练。他把这个过程类比为机器人版 RLHF。这个比喻的价值在于，它把“机器人学习”从一次性训练改写为持续现场反馈；但边界也很清楚。70% 到 80% 是 Ma 对当前工作流的描述，不应被当作所有机器人任务的标准阈值；真实硬件评估速度也会受硬件限制拖慢。

第三个核心观点，是 Dyna 把真实部署看得比 demo 更重。Din Tai Fung 的例子在节目中被反复使用：机器人在美国多个门店每天折叠数千张餐巾，Ma 强调难点不是把机器人放进一个地点，而是让客户确认价值后愿意跨多站点部署。餐巾折叠不是粗糙动作，第二道折线要在可插筷子的 pocket 下方约几厘米；餐巾、毛巾这类 deformable objects 又有极多可能配置，专用机器未必更容易处理。这里的关键不是“机器人已经通用解决了餐厅后厨”，而是 Dyna 用一个真实客户任务展示：通用模型加任务适配，可能比从零设计专机更快达到某些生产质量要求。

限制同样清楚。Ma 承认，纯视觉世界模型可能不够丰富。人类操作物理世界时会使用触觉、听觉，甚至嗅觉；在烹饪场景中，RGB 图像可能看不出食物状态，红外可能成为一个输入通道。如果某项任务关键依赖触觉，扩大到数百万小时视觉数据也可能仍然缺失关键维度。他甚至提出，视觉加触觉的世界模型也许能用少得多的数据和计算达到同等性能。也就是说，Dyna 的路线强在“预测尽可能多的世界”，但这个世界到底应由哪些传感器定义，仍是不确定问题。

硬件选择既是观点，也是限制。Dyna 的 semi-humanoid 上半身接近人，是为了利用人类数据迁移；四自由度腰部让机器人能模仿人类日常使用躯干和腰背的动作。下半身使用轮子，则是能耗、稳定性和安全性的实用权衡。Ma 不否认最终通用机器人可能走向更人形的 form factor，但本集展示的是一条渐进路线：先用半人形平台进入真实客户现场，尽快形成反馈闭环。这个选择牺牲了一些地形适应性，却换来更可控的部署和更低的安全风险。

最后，推理延迟把整个模型愿景拉回物理约束。Ma 说机器人不能像聊天机器人那样等待数秒，物理和重力不会等网络响应。部署模型需要足够小、足够快，通常要本地或 on-prem 运行；Dyna 因此自建推理栈来优化延迟。这个判断解释了为什么“训练一个更大模型”并不自动等于“部署一个更好机器人”：训练时可以大，部署时必须能以足够频率输出连续动作。Dyna 的动作空间约百维，并以每秒 10 到 20 次的频率预测至少 50 维向量，这使机器人控制更接近实时系统，而不是离线生成任务。

四、学习与应用

从应用角度看，本集最有用的学习不是“所有机器人都该做世界模型”，而是如何评估一个物理 AI 系统是否真的接近部署。第一条标准，是看它是否把动作生成和未来状态预测连接起来。普通视频生成模型可以生成看似合理的未来画面，但机器人需要把这种预测转化为可执行动作；Dyna-2 的价值主张正在这里。对创业者或技术团队来说，如果一个模型只能在视频里展示“可能会怎样”，却不能稳定输出硬件动作，它仍然离生产工作流很远。

第二条标准，是数据配方要分阶段。Ma 的说法可以转化为一个实用框架：早期用大规模、多样的人类第一视角数据建立物理先验；进入具体任务后，用机器人自身数据对齐硬件动作、低层反射和灵巧操作；面对酒店铺床、餐巾折叠、切菜等专家任务，再采集定制数据。代价是数据体系会很复杂，且没有单一数据源能一劳永逸。边界也很重要：如果任务依赖触觉、音频、温度或红外，仅扩展 RGB 视频可能只是放大已有缺陷。

第三条标准，是部署反馈必须真实。Dyna 的任务迭代方式表明，机器人不能只看训练曲线，还要在同一真实设置中 rollout，观察失败点，再补采数据。这个方法适合餐巾、毛巾、取饮料、洗衣机操作等可高保真采集和评估的流程；但对于需要更强灵巧手、更高耐久度或更多传感模态的任务，评估速度会被硬件限制。因此，团队在选择第一批商业场景时，应优先选择数据能采、质量能验、客户愿意跨站点复制的工作流，而不是最炫目的“通用性”展示。

第四条标准，是硬件不能被当成模型外设。执行器是否可建模、比例是否利于人类数据迁移、腰部自由度是否覆盖真实动作、轮式底盘是否降低安全风险，都会影响模型学习和部署成本。Dyna 采购成熟 lidar 和部分相机，却倾向自研执行器等关键部件，背后的启发是：能标准化采购的模块不必重造，但决定系统上限的环节要掌握。对其他团队而言，这不一定意味着全栈自研，而是要诚实判断哪些硬件决策会限制数据、仿真、控制和客户体验。

第五条标准，是把长时程任务拆成分层系统。低层模型负责连续动作，高层 harness 负责意图、流程、等待、切换和技能组合。洗衣任务说明了为什么：洗衣机运行时机器人不应原地等待，洗完后要及时转移到烘干机，否则整个工作流会出现瓶颈。取饮料任务也说明，上层要理解用户选择，下层要完成可控抓取和准确交接。应用这套思想时，边界在于不能让高层规划掩盖底层动作不稳定；一个漂亮的 agent UI 不能替代可靠的关节控制、传感和实时推理。

最后，商业判断要从 pilot 转向多站点复制。Ma 用 Din Tai Fung 区分“放一台机器人演示”和“客户验证价值后跨地点部署”。这对评估机器人公司尤其重要：单次成功率、演示视频和发布会指标都不够，真正的问题是质量标准是否细到生产可接受，模型权重是否能 OTA 更新到不同地点，维护成本是否低于客户收益，失败时是否能快速补数据迭代。本集的结论不是 Dyna 已经解决所有通用机器人问题，而是它给出了一套可检验路径：用真实客户工作流筛选问题，用数据闭环改善模型，用全栈硬件降低物理不确定性，并承认视觉、触觉、硬件耐久和本地延迟仍是边界条件。

来源

• 原始节目：Robots That Predict the Future: Dyna-2 & Physical AI — Jason Ma, Dyna Robotics