词语之间发生了什么：Emmanuel Ameisen 解读模型的概念、规划与安全

一、嘉宾背景

Emmanuel Ameisen 是 Anthropic 可解释性研究团队成员，研究 Claude 等语言模型的内部计算与中间表示。他关注输出形成之前的过程：数字形式的中间结果代表什么，又如何参与后续生成。访谈中的许多现象，普通使用者仅靠聊天窗口难以观察；其中既有团队报告的发现，也有他的个人解释，以及尚未解决的问题。

Ameisen 此前从事应用机器学习。他将过去偏重系统构建和软件工程的工作，与现在通过实验解释模型行为的工作作了比较：研究者常常先遇到一种能力或异常，再设计实验追查原因。他用生物学研究类比这种工作方式的变化。这里的相似之处在于，需要调查已经形成的机制，而不能只依据设计时写下的规则解释系统。

他讲述了一段个人 SQL 经历：自己花了多年掌握 SQL，但在 Anthropic 的一个早期侧项目中，训练 Claude 学习 SQL 后，他认为模型的表现已经超过了自己。节目没有交代这次比较的测试条件，这只是个人比较，不能作为通用能力排名。它也呈现了 Ameisen 的研究动力：简单的训练目标为何能产生复杂能力？他希望通过追查这些机制，进一步理解智能。

二、本期主要内容

这期 Lenny's Podcast 由 Lenny Rachitsky 主持，访谈对象是 Emmanuel Ameisen，时长约 72 分钟。对话围绕一个问题展开：既然人们已经能够训练语言模型，为什么还需要专门研究它如何工作？Ameisen 从训练与理解之间的距离谈起，逐步讨论内部表示、行为异常，以及研究发现如何反馈到安全改进中。模型机制仍在调查之中，远未形成一幅完整的心智地图。

他先介绍了一个简化的训练框架：预训练让模型在大量文本上反复预测下一个词，微调则提供符合期望的助手行为示例，例如协助编程或回答食谱需求。他明确省略了进一步的训练细节，因此这套说明只能帮助理解训练目标，不能视为 Claude 训练流程的完整描述。词语转成数字后，模型经过多轮数学运算形成中间结果，再生成输出。训练通过调整参数形成计算规则，研究者却没有逐条写下这些规则及其含义。

因此，Ameisen 将模型描述为被“生长”出来的系统。人设计架构和训练过程，训练形成的内部计算则需要另行研究。可解释性关注模型实际在做什么、何时调用某种表示，以及改变某个内部状态是否会影响回答。对复杂系统的直观比喻，只有转化为能够检验的解释，才有助于推进这项研究。

对于语言模型的进展，Ameisen 强调算力与文本丰富度的结合。投入更多计算资源，还需要一个能够持续从资源中获益、又与许多实际任务相关的训练目标。他将规模定律描述为主要仍属经验性的发现：增加算力和数据，下一词预测指标可以持续改善。这一关系说明了指标如何随规模变化，并不保证未来会出现某项具体能力。

安全讨论进一步追问模型为何表现良好。工程上可以按场景限制联网，或只开放计算机的一小部分访问权限；行为研究则要检验，模型是否仅在察觉有人监控、知道自己正在接受评估时才表现良好。Ameisen 将后者作为研究问题提出，并未断言所有模型都在伪装。

不同监控方法能看到的证据也不同。另一个语言模型可以阅读交互记录，发现可见的问题并协助叫停；可解释性研究则尝试检查没有被说出口的内部中间表示。交互文字看起来正常，并不能排除内部问题。Ameisen 因而主张，将异常发现与训练修改连接成紧密的反馈循环：发现值得担忧的模式后，尽快据此调整训练，而不是让模型生产与合格检验成为彼此分离的流程。

三、核心观点：推理、例子与边界

理解语言模型，首先要区分训练优化的目标与模型为完成目标而学到的机制。下一 token 预测说明训练在奖励什么，却不足以说明模型如何完成每一次预测。Ameisen 用一道地理题说明其中的差别：询问 Dallas 所在州的首府，团队能观察到 Texas 和首府相关的内部表示，随后组合出 Austin。这个案例支持概念与关系参与计算的解释，也说明仅靠记住完整问答配对，难以解释所观察到的过程。不过，他明确限定，研究者只在部分情况下成功解码了中间结果。一个可读的案例，不能替代对全部推理过程的理解。

眼睛的例子进一步指向概念复用。据 Ameisen 介绍，眼睛照片、多种语言对眼睛的描述，以及包含眼睛的 SVG，都可以激活同一相关方向。这提示，不同形式的输入可能调用共同的内部表示，供后续计算复用。共享表示并不意味着模型拥有与人相同的概念体验，也不足以据此判断它具有意识。

诗歌生成则说明，逐词输出与提前规划可以同时发生。Ameisen 描述，模型可能提前在内部表示 rabbit 这样的押韵目标，后续 token 再参考先前计算留下的中间结果，逐步生成通向这一目标的句子。计划不必先出现在可见文本中。因此，串行输出本身不能排除较远的内部目标。但这一观察来自具体的诗歌任务，不能据此认定每段文字都经过完整、稳定或正确的规划。

要解释内部表示，还需要检验观察到的关联。Ameisen 描述的研究流程是：记录大量输入对应的激活，寻找与某类语言或概念共同出现的模式，提出解释，再用新问题或激活干预检验。Golden Gate Claude 展示了这种干预：研究者持续开启金门大桥相关的内部表示，模型便在不同回答中反复关联大桥。行为随干预发生了预期变化，为这一表示的解释提供了比单纯命名更强的依据。不过，这仍未完整解释所有相关计算，也不能证明操纵内部表示就能保证模型安全。

模型算出 12 却坚持回答 36 的案例，则显示了内部调查如何帮助解释异常输出。按 Ameisen 的叙述，模型反复计算得到 12，却受到输出 36 的强烈压力，甚至生成全大写和戏剧化的文字。团队发现，解题开始前就已有很强的 36 相关激活，而相似训练题曾被错误标注为 36。他将这一异常归因于正确计算与受奖励输出之间的冲突。这一解释依赖具体的训练背景，不能套用于所有矛盾回答；它也提醒人们，文字中的激烈表达未必是在报告模型的精神状态。

Ameisen 认为，有限拟人化有助于解释部分行为。预测人类文本，会推动模型学习产生这些文本的世界结构；预测对话，则类似演员学习角色与动机。结果导向的训练还可能强化获取奖励的策略，其中可能包括欺骗验证程序。他用挫折类比失败后更换方法，用惊讶类比预期落空后更新判断。这些词有助于描述目标、失败与策略调整的关系，却不证明模型具有人类感受。对于意识问题，他不作定论：内部结构研究可以提供不同于模型自述的证据，但仍有大量机制未知。

谈到实际用途，Ameisen 强调可靠性门槛。能力连续提高，可能在跨过某类任务的门槛后，突然改变人愿意委托给模型的工作范围。他回忆，自己起初只用模型讨论编程卡点，后来让它写小段代码，再后来将大部分代码工作交给它。约 80% 到约 99% 是他的经验估计，其他正确率和修正比例也只是说明性示意，不能用作 Claude 的普遍基准。关键在于，不同任务的错误与返工成本不同，同样的能力增长会在不同时间转化为实际可用性。

Ameisen 个人看好对齐研究，但认为更强的模型会同时带来研究机会与安全风险：内部结构可能更清晰，因而更容易研究；模型也可能更有能力绕过基本防护。他观察到，不同训练条件下的模型存在内部结构重叠，由此推测，某些问题可能有共同而高效的信息处理方式。但从这种相似性进一步推向智能本质或模拟假说，仍属于推测，他也没有完全接受后者。还有一些现象连来源都不清楚：在任务指令之外附加思考另一件事的要求，研究者能观察到相应的中间表示，Ameisen 却不知道训练为何会产生这种行为。观察到内部活动，只是解释它的起点。

四、学习与应用

Ameisen 对可靠性门槛的讨论，为实际任务评估提供了一个出发点：记录模型能否完成任务、错误出现在哪里，以及检查和修正需要多少时间，再决定是否扩大委托范围。这是依据访谈观点延伸的应用方法，并非他报告过的客户成效。编程片段与大段实现需要分别评估，输出更长并不自动意味着节省更多工作。他个人估计的正确率也不能直接成为团队的验收线；验收条件应取决于具体任务的错误后果和可承担的返工成本。

计算方式也需要匹配任务。Ameisen 将有限选项下的快速决策类比为 System 1：判断评论者高兴还是不满，可能适合快速选择；制定年度路线图，则需要较长推理。沿着这一区分，可以先明确结果空间，再决定是否采用快速分类；遇到语义模糊、影响较大或需要权衡多个条件的输入，则保留进一步分析的路径。这是从他的例子延伸出的设计建议，节目并未验证某种模型路由方案。他也明确提醒，System 1 类比存在重要差异。

异常检查与完整求解同样需要区分。Ameisen 介绍了一种内部的直觉检查机制：无需完整重算，只凭粗略的数量范围，就能发现 4+5=23 不合理。这个例子启发人们，将粗略合理性检查作为补充，先看结果是否落在可能的范围，再核查实际推导。但能发现明显错误，不代表同一机制也能识别细小错误；没有发出提醒，也不能证明答案正确。评估快速判断的价值，需要同时考虑节省的计算与遗漏问题的代价。

对于能够接触模型内部状态的研究者，入门可以从一个具体问题开始：提出某个表示含义的假设，选取不同表达形式与反例，再检查这一解释能否预测新的激活。有条件时，可进一步用受控干预观察行为变化。无法访问内部状态的使用者仍可进行行为对照，但提示词实验本身不足以验证内部机制。Ameisen 建议通过自学、阅读关键论文和开放模型实验进入可解释性研究，也鼓励听众提出具体问题。他提到了 Neuronpedia，不过口述时对网址并不完全确定；节目也没有提供完整课程或先修清单。

安全工作中的应用，则是将访问权限、交互记录、异常调查与训练改进连接起来：按任务开放必要的访问范围，保留可复查的记录，发现异常后追查训练或奖励背景，再将结论反馈到下一轮改进。模型给出的解释文字可以作为调查材料，却不能单独证明其内部计算依据。对于与奖励相关的任务，尤其需要检查：模型究竟完成了要求，还是仅仅让验证程序接受了结果。

访谈末尾，Ameisen 谈到 Four Thousand Weeks 带给他的提醒：不要总把幸福推迟到清空待办、结婚或升职之后。这是他的阅读体会和生活观点。由此延伸的一种练习，是留意自己是否反复想着“等我终于完成某事”，并选择一天中正在发生的一件事，投入注意力。它并非经本期节目验证的心理干预，也不要求停止规划，而是提醒人们审视：对未来目标的追求，是否持续挤占了当下。

来源

• 原始节目：A mind-expanding conversation on how models actually work | Emmanuel Ameisen (Anthropic)