Naveen Rao：智能成本下降之后，能源、验证与交付的价值

一、嘉宾背景

在这集约73分钟的20VC访谈中，主持人Harry Stebbings与Naveen Rao讨论了AI发展背后的几项约束：能源能否跟上需求，推理服务能留下多少利润，软件如何交付可信结果，以及机器人何时形成可用市场。

Rao是一位连续创业者，曾创办Mosaic ML，目前的创业项目是Unconventional AI。主持人介绍，Mosaic ML以13亿美元出售给Databricks，Unconventional AI已融资数亿美元，最近一轮估值接近50亿美元。这些金额来自节目介绍；所提供材料没有明确Rao的具体职务，也没有给出当前公司的具体产品名称。

他对计算架构的兴趣可以追溯到更早。Rao回忆，2014年创办Nirvana时，他已经看好神经网络计算架构。谈到当前团队，他强调以能源为优先目标，不将模型视为不可改变的设计前提：模型也可以随着整体设计调整。他对硬件机会的判断与自身创业选择紧密相连，这也是理解其立场的重要背景。

二、本期主要内容

访谈从电力供给谈起。Rao首先区分了真正新增容量与利用既有设施余量。他援引行业估算，称新增1吉瓦供给约需500亿美元，并估计美国电网平均输出约900吉瓦、峰值能力约1.2至1.3太瓦。他认为，近期数据中心获得电力主要依靠既有设施的余量。提高利用率可以较快释放供给，却无法无限延续；峰值能力与平均输出之间的差额，也不能直接视为随时可以持续使用的资源。

Rao预测，持续增长的AI需求会在未来几年耗尽这些余量，此后的扩张将受新增建设速度约束。他质疑当下每年新增40吉瓦的可行性，认为10吉瓦已经非常出色，按其成本口径也需要约5000亿美元。这些口述估算未在节目中得到独立核实，但说明了他所担忧的约束：算力需求可以迅速增长，基础设施建设却有自己的周期。

供给压力没有让他认同泡沫破裂的判断。Rao认为，技术问题得到解决会打开新的需求，因此将当时的融资与市场压力视为短期波动。他也观察到数据中心可能愿意支付更高电价，但承认这只有轶事证据。他用算力收入约为电费5倍、可承受高出30%至40%的电价说明支付空间。这些是示意数字，并非披露的实测经营数据，不能用来推算行业实际利润。

效率提升从哪里来，是接下来的技术问题。Rao将其分为物理、计算架构和模型三层。他认为，物理缩放的收益已经大幅放缓，近期的重要收益来自低精度计算，下一步机会则在数据局部性与减少搬运：让需要共同参与计算的数据尽量靠近。

稀疏性是他解释协同设计的例子。算法减少运算，并不意味着标准GPU和片外存储能够充分兑现这些收益；计算与存储结构仍可能构成限制。因此，他主张共同设计模型、架构与物理实现，让硬件更好地匹配连接结构。在他看来，专用计算结构仍然可以支持通用智能。

训练侧的重点则是高质量数据、数据策展、损失函数和训练课程。Rao认为，专业能力如何训练、材料如何选择、课程如何安排，都是能力进步的重要来源；这些训练来源与方法，也可能形成价值和竞争防御性。模型持续生成内容之后，团队仍须判断内容是否可用，训练与验证由此成为同一交付过程中的关键环节。

机器人承载了他更大胆的预期。面对Harry对应用时机的担忧，Rao预测，部分任务会在两至三年内出现可用原型，五至七年形成市场。他还预测，推理将在十年内成为十万亿美元市场，机器人规模可能是智能体编码的100倍。他以效率改善扩大用途解释增长，但没有提供支撑这些规模预测的量化模型。

Rao更偏好机器人技术栈，尤其关注从任务到运动输出的转换。他预计，模型公司可能将模型与设备整合起来，交付特定任务。对于需求明显的深科技，他更强调技术进展，弱化估值的重要性；Harry则指出，LP仍然关心价格与持股比例。技术能否推进与投资能否获得回报，在这里仍是两个需要分别回答的问题。

谈到科学，Rao期待AI扩大可研究问题的范围，让更多过去难以投入足够人力的问题进入探索。他以虫洞等理论构想举例，表达对研究边界扩展的期待，并未声称相关现象已经证实，或已具备工程应用。

三、核心观点：推理、例子与边界

在Rao的判断中，能力进步与资源效率需要分开衡量。他认为，若按单位算力或美元带来的提升计算，强化学习比预训练更低效，但它仍能改善重要任务，未来数年依然重要。团队可能愿意投入更多资源，换取更强的任务能力；一种训练方法的重要性，并不意味着它在所有维度上都更经济。

他用网球发球解释可验证奖励：先形成对优秀动作的内部标准，再以球速、是否落在界内判断效果，就能获得反馈。他据此认为，仅靠收集数据和预训练，无法覆盖所有任务。这个类比依赖一个条件：结果可以检查。球速和落点相对明确，现实工作能否提供同样可靠的奖励信号，访谈并未证明。如果目标定义有缺陷，持续优化奖励也未必能完成真正需要的任务。

他对Transformer推理的质疑同样集中在效率上：多次采样、比较推理轨迹，再将轨迹重新输入模型，未必是最有效的路径。他预期会出现替代方案，但没有给出具体架构或实验指标。至于突破可能来自哪里，他认为密集发布的竞争压缩了大实验室承担范式创新风险的空间，创业公司可能承担更多探索。他将xAI的快速追赶归因于资源、人才与执行。这是他对创新分工的判断，尚不足以证明现有实验室缺少深层创新，也无法确定下一种架构会由创业公司提出。

生成速度与验证能力之间的差距，在他的科研经历中已有体现。研究耦合振荡器时，Rao希望了解非全连接菊花链中的信息经过4至6跳后，会如何受到噪声影响。过去，这类初步探索可能需要约两周；借助模型生成代码，再由他检查并反复交流，约一小时就能得到初步答案。提速发生在他能够亲自审查的建模探索中，不能据此推断完整科研交付也能获得相同比例的改善。

这让一个人能够尝试更多问题，也使验证成为产物增加后的瓶颈。Rao认为，可靠自动化需要先定义有用的规格，再检查中间产物，最终确认实现符合规格。验证层只是这一闭环的一部分：检查代码能否执行，与判断代码是否解决了正确的问题，需要不同层面的判断。他还指出，模型对多个候选方案的选择机制仍不充分，长决策链可能看似稳健，却完全错误。因此，在许多场景中，当前还不应像信任人类一样信任智能体。

谈到商业价值，他反复区分需求规模与利润归属。Rao认为，部分智能已经商品化；推理运营服务负责部署模型、保障可用性并优化成本，但每token价格下降可能压缩这一层的利润空间。他更看好能够提高能源转换效率的硬件体系，包括芯片、系统、云和网络。不过，这些效率优势最终能转化为多少利润，访谈没有量化。

他对开放模型与前沿模型的预测，也体现了流量与收入的区别。他预计，三年后开放模型将承载约80%的token流量，前沿模型约占20%，支出却可能各占约50%：常规任务量大、价格低，少量关键问题则值得支付高价。80%的流量并不对应80%的收入，更不能直接推算利润。类似地，他认为编程智能体的主要价值来自底层模型，外围编排层与IDE的黏性有限，依据之一是自己公司员工较自由地切换工具。这一竞争判断仍主要建立在他的内部观察上。

Rao对传统SaaS利润前景的悲观，也影响了他对交付方式的选择。他认可通过软件加服务交付结果，以Harvey说明AI生成、人工验证的模式。如果NDA和合同审查足够可靠，他愿意将约80%的个人法律工作交给它。这是有前提的购买意愿，并非已经实现的替代率。他还认为，大型机构更有规模支撑定制智能，小型机构则更可能需要开箱即用的服务，竞争对手是否采用也会影响选择。

交付提速还可能扩大需求。Rao认为，人工验证的需要可能使人类与AI的总预算大致稳定，同时增加产出。他以每年1000万美元的软件预算作假设：组织可能保持投入，却要求更频繁地发布、更快地修复问题。他又设想机器人承担80%的建筑任务，缩短工期，从而增加可开展的项目。这些例子说明了效率改善如何引发需求响应，但没有证明就业、预算或项目数量必然按相应幅度变化。变量之间的关系值得分析，具体数字仍须保留其假设性质。

四、学习与应用

评估AI基础设施时，首先需要区分提高既有设施利用率与真正新增容量，并分别考察可持续输出、建设进度和资金需求。Rao的电力预测可以用作压力情景：如果需求持续增长、余量逐渐耗尽，项目还能否获得供电？他引用的单位成本不宜直接套入所有项目预算，峰值能力也不能等同于稳定可用供给。这样才能将他提出的约束用于分析，同时保留口述估算与项目事实之间的区别。

对模型或芯片团队，协同设计意味着在相同任务质量要求下，共同检查数值精度、数据搬运、存储访问与连接结构。如果稀疏性减少了运算，却没有明显减少实际搬运，就需要查明算法收益为何未能转化为系统收益。专用结构可能提供更多改进空间，但仍须证明它适合目标工作负载；访谈没有给出可直接采用的节能比例。训练方法也应分别衡量资源投入、任务改善与奖励质量。强化学习对重要任务有用，并不意味着它更便宜；奖励容易计算，也不意味着它准确代表了任务目标。

知识工作可以从Rao所描述的验证闭环入手：生成之前明确问题与验收条件，过程中检查关键中间产物，最后确认交付物符合最初目标。初期适合选择范围清楚、审查者能够理解代码的探索任务，像他的噪声建模研究一样，同时记录获得初步答案与完成后续验证所需的时间。如果审查能力跟不上，就应缩小任务范围或减少同时生成的产物，否则生成提速只会增加复核积压。一小时的初步探索，也不能成为完整成果的质量承诺。对于长决策链，还须警惕局部步骤看似合理、整体结论却错误的情况。

评估AI商业模式，需要将token流量、客户支出、服务成本与利润归属分开建模。开放模型承载更多流量，不等于获得相同比例的收入；推理需求扩大，也不保证运营服务能维持高利润。对编程工具，应观察用户切换的原因，区分底层模型升级与外围编排功能各自带来的价值。对交付结果的服务，则要明确由谁验收、人工复核需要多久、哪些任务必须交回客户处理。大型机构可能有规模支撑定制，小型机构可能更重视开箱即用。Harvey的例子有助于提出这些问题，但Rao的条件性购买意愿不能作为已验证的节省数据。

深科技尽调需要足够具体的技术交流。Rao回忆，Steve Jurvetson曾与他讨论数值表示，批注论文并持续追问；他认为，这种技术理解有助于在共识形成之前作出判断。尽调可以据此要求团队解释关键技术选择、展示证据，并说明什么结果会促使其放弃原方案。

Harry提出的航天投资案例说明了认知不足时的风险：从4亿美元基金中投入2000万美元，意味着5%的敞口，优秀团队与宏大市场并不能消除判断盲区。Rao主张关注团队如何纠错、转型和作出技术决策，并通过认识团队的人补充调查。双方都承认，两三次会面能提供的信息有限，这一限制不能因技术愿景清晰而忽略。

机器人时间表与科学愿景，则需要拆成可检验的阶段：特定任务的原型是否可用，从任务到运动输出的转换是否稳定，扩大的研究范围能否带来可验证的结果。技术进展有助于判断项目，但不能单独验证估值或投资回报。科学探索也应区分提出理论问题、验证现象与实现工程应用；Rao以虫洞说明可能探索的问题，并不意味着后两步已经完成。

来源

• 原始节目：Inference Will Be $10TRN Market: What No One Sees | Software Investors are F***ed | Naveen Rao