换芯片究竟要改多少软件？Chris Lattner 谈统一 AI 栈与工程判断

一、嘉宾背景

在 Snapdragon Summit 现场，The TWIML AI Podcast 主持人 Sam Charrington 与 Chris Lattner 进行了一场约十八分钟的访谈。节目介绍，Modular 被高通收购后，Lattner 出任高通先进 AI 软件与平台执行副总裁。他于 2022 年联合创立了 Modular。这次谈话由此同时涉及软件平台的技术路线，以及进入芯片企业后，平台的开放方式和投入方向如何变化。

Lattner 的经历横跨编译器、编程语言、开发工具和软硬件边界，也包括在 Apple 构建 Swift。他将 Modular 的使命概括为，让普通程序员能够使用先进计算硬件。如何在不同芯片之间复用软件、又保留硬件各自的能力，是这一目标面对的具体问题；谈到 AI 编程时，他同样关注工具能力与工程责任之间的边界。

二、本期主要内容

Lattner 从工作负载解释了 AI 为什么需要异构硬件。模型服务中的预填充、解码和推测解码，对并行计算、内存和低延迟有不同要求。他没有为每个阶段指定唯一适用的芯片，而是由这些需求差异引出软件层面的问题：当不同硬件承担不同工作时，怎样避免同一功能随着芯片变化而反复实现？

他的回答是区分可共享的逻辑与针对硬件的实现。请求批处理、推测解码中的判断逻辑，以及 KV 缓存管理，是他列举的可跨架构复用部分；矩阵乘法最内层的数据访问、权重加载和计算方式，则需要针对具体芯片处理。为使这些层次能够协同，Modular 从芯片出发，构建了语言、编程模型、数学内核和服务架构，目标是在默认兼容的同时，在硬件能够提供优势的地方保留专门优化。

在产品分工上，Lattner 将 Mojo 当时的强项定位于 GPU 矩阵乘法和神经网络内部实现，将 MAX 定位于模型服务。他列举了英伟达、AMD、Google TPU、AWS Trainium、高通和 Apple GPU，说明平台面向的硬件范围。访谈没有逐项介绍这些硬件上的模型支持情况和运行表现。

加入高通带来的变化，则集中在平台开放和投入方向上。Lattner 回忆，ModCon 前，Modular 正准备支持六家厂商的六种架构，高通是其中之一。他说，初创公司需要保护平台并从中获得收入，而高通希望建立一个竞争生态，让软件不再妨碍芯片凭自身能力参与竞争。据他介绍，Mojo 已采用 Apache 许可证开源，MAX 开放联盟则计划在当年稍后推出。Modular 作为初创公司时，商业动力使投入集中于云计算；加入高通后，平台有了向不同功耗和性能档位的终端设备扩展的动力。他同时明确表示，这项扩展需要时间。

三、核心观点：推理、例子与边界

Lattner 对可移植性的主张，核心在于如何划分软件层次。他反对把所有设备限制在最低共同能力之内，因为这样会牺牲芯片的独特能力；也反对为每种芯片维护完全独立的实现，因为这样又会失去统一软件栈的价值。请求批处理与矩阵乘法的区别说明了这条边界：组织请求的规则可以共享，执行计算的数据路径却可能因硬件而异。统一的软件栈需要容纳这些差异。

按这一思路理解，跨芯片运行时可以争取免于重写的是可共享的部分，硬件适配则应集中在恰当的边界上。访谈没有展示具体的芯片迁移，也没有比较代码改动量、性能损失或成本。因此，Lattner 提供的是一套可移植性架构的论证，尚不能据此认定任何模型都能无代价地更换芯片。KV 缓存管理逻辑可以复用，也不意味着底层存储和执行细节没有硬件差异。

Mojo 的当前用途与通用语言愿景，也有明确距离。Lattner 提到，社区已经在探索网络栈、应用和游戏，同时强调不愿夸大尚未成熟的能力。他对未来六个月到一年成长的判断，仍是预测。他将 Mojo 放在 Python 家族中，试图解决性能、分发、包管理和现代计算资源访问等问题。这些目标说明了语言希望解决什么，却不能替代对其实际可用性的检验。

谈到编程代理，Lattner 说自己大量使用 AI 编程工具，把它们用作思考伙伴，处理机械性实现工作，或比较已有系统的方案与取舍。但代理通过了测试，并不代表它选择了正确的实现方式。他允许代理更自主地优化一类边界清楚的任务：行为规格明确、主要追求速度、维护责任有限，而且不会影响其他人的局部 AI 内核。在这些条件下，反复自动优化有其依据；这套授权不能直接推广到所有性能代码。

架构工作的责任则更难交给代理。Lattner 认为，架构既要满足当前要求，也要考虑六个月、十二个月后的演进，而这种判断很难完整写进规格，因此必须保留人的参与。代码生成也只覆盖软件工程的一部分，产品设计、演进、营销、品牌和判断仍有各自的问题需要解决。至于代理未来能进步多快，他保留了不确定性：能力发展可能表现为多条 S 曲线接续、叠加，而非必然持续指数增长。他以预训练和强化学习说明这种可能性，并未将其作为确定的预测规律。

四、学习与应用

准备更换推理硬件的团队，可以从工作负载和实现边界入手评估。先分别梳理预填充、解码和推测解码对计算、内存和延迟的要求，再检查服务逻辑与内层计算各自的实现位置。沿着 Lattner 的分层思路，迁移试点可以先确认批处理等管理逻辑能否复用，再识别必须针对目标硬件调整的计算部分。这仍要求团队维护专门实现；分层能否带来收益，需要用实际迁移工作量和运行表现检验，访谈没有提供这些结果。

选择平台时，也需要分别核对已经开放的能力与尚在推进的路线图。Mojo 采用 Apache 许可证开源，是 Lattner 报告的已发生事项；MAX 开放联盟是计划，向终端扩展也需要时间。开放方向可以作为采购和技术选型的评估线索，却不足以证明 MAX 的全部能力已经开放，或平台已经覆盖所有设备。对于 Mojo 的通用用途，同样需要按当前需求验证可用性，不能直接依赖六个月到一年的成长预期。

分配代理任务时，责任范围比代码长度更能说明问题。一个内核如果有清楚的行为规格、可衡量的速度目标、有限的维护责任，而且修改不会影响其他模块，就接近 Lattner 允许扩大自动化的情境。任务一旦涉及模块边界或未来扩展方式，人就需要参与方案选择。验收也应同时检查测试结果和实现路径：测试通过，无法单独说明方案是否适合长期演进。

Lattner 主张主动试验和采用 AI 工具，认为忽视它们会带来落后风险；他也反对凭几个月的代理成果，就宣称解决了长期存在的学科问题。落实到项目中，可以从机械性工作和方案讨论等具体用途着手，保留必要的判断，并检查产出能否转化为可交付的产品价值。Charrington 与 Lattner 在访谈最后强调，技术上的可能性与实际产品价值之间仍有距离。即便能力增长放缓，消化现有 AI 能力、将其融入产品，仍有大量工作要做。

来源

• 原始节目：Can You Switch AI Chips Without Rewriting Your Stack? | Chris Lattner