从神经元到模型行为：Curt Tigges 谈可检验的大模型解释

一、嘉宾背景

Curt Tigges 是 Goodfire 技术团队成员，也是《Neurons as an Interpretable Basis》的共同作者。嘉宾资料将 Goodfire 描述为一家从事神经网络机制可解释性研究的公司。本期《The Cognitive Revolution》围绕他与 Nick Camarata 合作的这项研究展开，讨论如何直接解释模型已有的 MLP 神经元，以及如何用 Neuron Scientist 提出、修改和检验解释。

Tigges 在访谈中介绍的研究流程，包括观察激活样例、分析神经元连接，以及通过消融和补回信号，评估自然语言描述是否抓住了神经元的功能。他报告的实验观察、对机制的推测和对未来应用的设想，各有不同的证据强度：观察可以支持进一步实验，机制解释仍需验证，应用能否成立则取决于后续的覆盖与可靠性检验。

他的核心判断是，MLP 神经元比此前认为的更容易解释；即使具有多种含义，这些含义也往往构成有限而紧凑的集合。他同时承认，神经元依然复杂，解释起来依然困难。这项研究试图让描述承担更严格的任务：预测激活、接受干预检验，并沿连接逐步追踪它与模型整体行为的关系。

二、本期主要内容

节目中，主要研究模型的名称被转写为“Qwen／Quinn 3.6 35B-A3B”，存在转写差异。按节目介绍，该模型约有 350 亿总参数、30 亿激活参数。Tigges 描述，它共有 40 层，每层 256 个专家，每个专家包含 512 个 MLP 神经元，路由器每次选择 8 个专家，合计约 500 万个 MLP 神经元。这些规格来自访谈介绍，未在本材料中得到独立核验。

Tigges 从 SwiGLU 结构解释神经元如何处理输入。一个神经元具有独立的 up projection 和 gate projection，两条路径可以识别不同信息；门路径经过 SiLU 激活函数，再与另一条路径的结果相乘。他以烹饪语境与大蒜成分的组合说明这种合取关系。两条路径都会影响最终激活，不能简单地把其中一条视为开关，另一条视为强度。SwiGLU 是整体结构的名称，SiLU 则是门路径中允许小幅负值的激活函数。

激活的正负方向和文本上下文，又为解释增加了层次。Tigges 称，同一神经元的正负激活可以具有不同含义。他还介绍了一个同时涉及口腔健康与海洋生物的神经元：两种语境对应不同的下游读取者，文本上下文会预先激活相应的读取电路。要判断一个信号的作用，除了看它出现在哪类文本中，还要看哪些下游神经元读取了它。

Neuron Scientist 从单个神经元的数千个激活样本出发，依据输入连接、文本相似性或共同激活模式进行聚类，再由代理提出单一或多部分假设，预测新文本中的激活。代理可以生成和改写文本，比较只有一个细节不同的句子，查询实际激活，也可以进行 steering，主动改变内部信号并观察影响。另一个独立系统评估描述的预测能力，将失败结果反馈给代理，供其继续修订。

一个长程列表案例说明了局部观察的局限。在约 50 token 的窗口内，某个神经元难以解释：样例横跨烹饪、说明和法律文本，找不到统一主题。Tigges 说，代理扩大调查范围后发现，它响应的是列表第二项，而相关内容约在 1,000 token 前已用另一种格式引入。决定激活的是前后的结构关系，局部主题标签无法捕捉这一点。

主要评估直接检验描述能否恢复神经元的作用。研究者先完全消融神经元，再让另一模型仅凭描述，逐 token 预测 0—9 的激活强度，将预测值补回原模型后，衡量行为恢复程度。Tigges 确认，节目所称的 74%，指按消融损伤加权的 KL divergence 损伤恢复；消融后对输出分布影响越大的案例，权重越高。辅助评估还要求模型仅凭描述，生成激活超过原始 100 亿 token 数据集最高值的文本。对于较容易的序列级“是否激活”任务，他称指标经常达到百分之九十几。这几项评估分别检验行为恢复、寻找高激活输入和序列级判断，结果不能相互替代。

三、核心观点：推理、例子与边界

Tigges 认为，解释神经元应先列清它在什么条件下响应，再讨论它究竟单义还是多义。一个神经元响应昆虫偏好的食物、栖息地和产卵地点，算一个概念还是三个，取决于人的分类尺度。衣服、健身器材、餐具和桌布看似分散，也可能同属车库甩卖物品。但找到一种概括方式，并不等于解释成立：描述仍须预测新的激活；对于彼此分离的含义，还可以追查它们是否分别对应不同的上游神经元子集。

识别主题之外，还要解释神经元如何推动计算。Tigges 将部分神经元称为“动词”或控制流节点：它们向下游发送信号，使模型更有信心、等待、复查、继续沿当前方向推理，或转向另一种方法。他还提到与数字错误、差一错误有关的神经元。研究因此需要追问，某个神经元激活后，模型接下来的操作究竟发生了什么变化。仅仅发现它出现在推理文本中，还不足以说明它调节了哪一步计算。

理解事实存储，也需要超出“一个神经元对应一个事实”的直觉。Tigges 以十个互联神经元可以表达远多于十个事实，说明连接的组合能力。他称，团队在 MLP 中发现了大量通过连接实现的事实，但尚未找到全部事实，也没有证明事实只存在于 MLP。被检查的专家通常集中于一至三个主题，包括法理、代数、几何、计时和医学子领域。这些观察为知识的局部化提供了线索，适用范围仍限于已检查的专家。

稀疏化实验进一步检验了这些信号的功能，但其中两种操作需要分清。逐神经元的分位数消融依据各自的历史分布，保留正负两端的极端激活，将其余值替换为接近零的均值；逐专家 top-k 则保留当前计算中选中的信号，其余置零。一个专家从 512 个神经元中保留 64 个，对应约 87.5% 的激活消融。分位数方法衡量一个信号相对自身历史有多极端，top-k 则在当前专家内部选择信号，两者的选择依据不同。

据 Tigges 介绍，激活样例保持语义连贯所需的分位数阈值，随神经元、层和数据集而变化；top-k 有时能保留少数较弱却有用的信号。参考语料也会影响判断：团队从 100 亿 token 中提取样例，而他估计训练分布达数万亿 token。因此，历史分位数不能直接用来比较不同神经元的因果重要性，样本中不突出的信号也未必无用。

节目讨论实验表格时提到，消融中间 50% 的激活通常影响较小，扩大到中间 80% 或 90% 后，损失随之增加，部分 ARC-AGI 测试的成绩却略有提高。Tigges 提出的解释是，模型作答更快、信心更高；得分变化本身尚不足以确立这一机制。初始稀疏模型也出现了循环和反复自检。他在访谈中更正，恢复训练使用了 1 亿 token，少量 GPU 运行约一天即可完成。微调前，模型的 pass@4 或 pass@8 已达到原模型水平，这让他怀疑退化主要涉及校准，能力本身可能仍然保留。不过，多次尝试后成功与单次可靠成功有别，具体机制仍不清楚。

Tigges 还报告，恢复训练后，若干基准提高了 5 至 15 个分数点，MedQA、GPQA Diamond 等也得到恢复。这些结果来自已测任务，尚不能回答数百万事实是否仍被完整覆盖，也不能证明长期用户体验与原模型等价。SwiGLU 的双负激活则留下了另一个未解问题：gate 与 up 同为负值时，乘积为正；移除这类信号，有时会损害推理或记忆，但逆转它们的 token 顺序，甚至换入另一条序列的同类激活，也可能恢复推理。激活所对应的文本语义，因而可能还不足以解释它的全部计算作用。

要从单个神经元走向更大的功能单元，Tigges 提议通过归因图寻找神经元社区。他举出几十个神经元参与印象派、新印象派和后印象派画家分类的例子，其中艺术家神经元与流派 token 相连。这样的电路可以逐步研究，但神经元与微电路的清单，尚不足以给出能预测陌生情境下整体行为的高层规律。他优先直接解释神经元的建议，也主要适用于 MLP 等位置；注意力和残差流仍需理解，SAE 或其他工具依然可能有用。局部单位已经能够接受实验检验，完整逆向工程所需的高层解释仍有缺口。

四、学习与应用

复现这条路线，可以从本地小模型和少量神经元开始：提取激活，记录正负方向与上下文，再根据样例和共同激活关系提出候选解释。Tigges 鼓励研究者尝试识别神经元、进行 steering 和构建归因图，也明确肯定了 Transluce 等先前神经元解释工作的贡献。起步阶段，每一份描述都应能对新文本作出可检验的预测，再逐步扩大覆盖范围。

当候选解释无法统一样例时，长程列表案例提供了一种调查思路：保持词汇大致不变，改变列表顺序、格式或前文是否出现；也可以保留结构，更换主题。这些是依据节目方法推导的辨别实验，并非访谈已报告的额外结果。它们可以帮助区分主题识别与结构响应。最小差异文本能够控制部分变量，但一次预测成功仍不足以列清全部响应条件，还需用未参与形成假设的样例继续检验。

评估记录应同时保留解释和指标口径。对于补回激活的实验，需要交代完全消融的基线、预测值的生成方式、输出分布的 KL 差异，以及是否按消融损伤加权，才能判断描述究竟恢复了什么。节目中的 74% 不能表述为“理解了模型 74% 的行为”。生成高激活文本、判断整段文本是否激活，也分别只提供相应任务上的补充证据。自然语言描述便于交流，其预测能力仍须由实验衡量。

如果目标是稀疏化，首先要明确被屏蔽的是哪些激活。Tigges 描述的方法按 token 选择相关信号，神经元及其连接仍可在其他相关情境中发挥作用。因此，屏蔽约九成激活，不能直接推导出可永久删除九成参数、缩减同等模型体积或获得同等推理加速。工程评估应分别比较原模型、初始稀疏模型和恢复训练后的模型，并记录单次成功、多次采样成功与作答耗时，保留不同恢复条件之间的区别。

需要保留多少激活，也取决于任务和上下文长度。Tigges 称，测试已覆盖到 32k token，尤其包括代码任务；推理和代码需要保留更多信号，故事生成所需的激活则可少一个数量级。这些结果支持按任务分别测量需求。百万 token、多轮累积和跨窗口传递仍属于待验证情境，较短上下文中的成功不能替代这些测试。

用于安全监测时，相关神经元的覆盖范围尤其需要验证。Tigges 与主持人都强调，一个与奖励黑客有关的神经元，可能只覆盖某种子类型。它可以成为候选观察点，但其他实现路径可能不会触发同一信号。研究需要围绕目标行为构造多种情境，检查相关电路何时激活，再结合消融、steering 或训练前后的变化，观察信号与行为是否共同改变。Tigges 提议将底层电路研究与人格 steering、消融调试和训练干预结合，逐步解释高层行为变化；这种联系尚未构成完整覆盖的监测保证。

解释成本也需要分层安排。Tigges 报告，自动解释单个神经元最昂贵的案例约耗费 45 美元推理费，通常则便宜得多。他建议先粗筛全模型，再向困难案例集中计算。依照这一思路，可以优先调查解释反复失败、具有多种响应范围或行为影响较大的神经元，同时保留未解案例。最昂贵的单例不能直接用来估算全模型平均费用；粗筛后也仍需继续验证，以发现简单描述可能遗漏的复杂性。

来源

• 原始节目：The Neuron Basis: Goodfire's Curt Tigges on Agentic Interp, Monosemanticity & Reverse Engineering