已知实验结果，如何检验 AI 的科学判断：Ian Quigley 谈分子搜索与预算分配

一、嘉宾背景

Ian Quigley 来自 Leash Bio，参与开发用于评估 AI 科学推理与实验决策的环境。访谈材料未提供他的具体职务；他以项目参与者的身份，介绍了任务设计、运行中观察到的行为，以及团队的后续方向。节目开场介绍，Leash Bio 使用 DNA 编码化合物库开展高通量筛选，对数百万种化合物与数千种蛋白质进行筛选。这类实验积累的数据，是本次讨论的基础。

Quigley 也回顾了团队此前改善语言模型处理分子表示能力的内部工作，其中包括通过监督微调改善模型对 SMILES 的处理。SMILES 将分子图的一次遍历表示为一维字符串；遍历起点或路径不同，同一个分子也可以有不同的字符串表示。他说，早期模型甚至无法可靠地完成这些等价表示之间的转换。后来观察到的进步，让团队看到模型开始能够更有意义地处理化学问题，也推动了智能体环境项目的开展。这段回顾说明的是项目如何形成，不能据此推断所有模型都在某个统一时间点获得了化学能力。

二、本期主要内容

Leash Bio 将已经完成的筛选实验转化为决策环境。按照 Quigley 的介绍，研究者掌握整个已测环境的结果，进入环境的智能体则只能在预算范围内选择查询。模型需要根据有限反馈寻找有价值的分子，研究者则借助完整的已测结果，分析搜索路径的效率。这里的完整仅指预先测量过的环境，并不意味着研究者掌握了全部化学空间。

旗舰任务围绕构效关系，也就是 SAR 展开：在已有分子能够结合目标蛋白的基础上，如何找到结合表现更好的候选物？Quigley 明确表示，当前任务还不涉及代谢等其他药物性质。因此，评估所衡量的是目标结合表现，一个高分候选物还不能直接等同于一种药物。

在他给出的任务示例中，智能体会获知目标，获得分子目录的访问权限，并得到一百个分子的实验预算。模型自行决定搜索方向和预算分配，用可读的语言提出有关分子结构为何有效或无效的假设，再通过查询实验结果加以检验。一次运行因而同时留下结果与过程：模型选了哪些分子，给出了什么理由，又如何根据反馈调整后续选择。

据 Quigley 介绍，团队已经运行约九万次轨迹，评估能够区分不同模型家族和能力层级的表现。这一规模来自他的陈述，访谈未提供独立核验。他还介绍了预印本和博客的发布，以及后续分发环境与运行轨迹的安排，包括 Harbor 格式的环境包和数千份智能体运行记录。这些材料可以让外部研究者检查具体决策，而不只看到汇总分数；不过，计划发布的内容仍需与实际已经公开的材料区分。

三、核心观点：推理、例子与边界

掌握完整的已测结果，研究者就能追问最终成绩是怎样取得的。Quigley 举了一个假设：智能体找到的候选物，表现只有环境中最佳结果的一半。这并非一次实际运行的成绩，而是说明评估者如何借助已知结果，检查智能体错过了哪些机会。只看终点，一个尚可的结果可能掩盖预算浪费；结合搜索轨迹，才能进一步分辨问题出在搜索方向、停止时机，还是对反馈的使用。不过，这种参照仍限于预先测量的目录，并不涵盖所有可能设计出来的分子。

Quigley 列出的失败行为包括过早停止、选择与自身 SAR 假设不一致的分子，以及在预算有限的情况下反复测试同一个分子。这些问题涉及不同的决策环节，不能一概归为化学能力不足。提前停止关系到是否继续投入，假设与选择脱节关系到解释能否指导行动，重复查询则需要检查模型是否有效利用了已有实验记录。专业术语和完整论述本身，并不足以证明决策有效。

一个较鲜明的观察是，能力较强的模型更快离开低产出的分子区域。较弱的模型可能已经看到两个低分候选物，却仍围绕它们做细微修改；较强的模型则更早转向其他区域。Quigley 强调，差异并非只是较强模型总体上更频繁地切换方向，而是它们更快停止向表现较差的区域投入预算。在有限预算下，模型需要判断当前方向是否值得继续，持续追求局部改进未必能带来更好的整体结果。团队尚不清楚这一行为差异的机制，因此还不能将它解释为一种已经验证的化学推理算法，也不能据此得出越早离开越好的通用规则。

模型给出的药物化学解释，也需要与实验表现分别考察。它们会讨论某个环是否有帮助、某个氮原子是否造成问题。Quigley 说，少量药物化学专家看过这些解释后，认为其中的思路合理。这为研究模型的文字解释提供了理由，但尚未构成人类与模型在相同目录、相同预算下的受控比较。解释符合药物化学的表达习惯，不足以证明模型达到专家水平；某个解释与成功结果同时出现，也不能单独证明该解释促成了成功。

对于模型是否理解分子，Quigley 提供了一个更具体的观察：移除分子信息后，决策明显变差。这支持模型确实使用了这些输入，但不能据此认定它掌握了分子的物理本质。他也修正了自己的措辞：运行过程中没有更新模型权重，模型是在利用当前任务内获得的信息作出后续选择。因此，根据反馈调整行动，应与通过强化学习更新权重区分开来。

相对其他方法的优势，同样有待比较。主持人提出贝叶斯优化类基线时，Quigley 判断，这个环境维度高、变化尖锐，可能不适合这类方法；他同时承认，团队尚未开展相应比较。目前这仍是一个待检验的方法判断，不能据此声称语言模型已经胜过传统优化。要判断相对优势，仍需让相应方法在相同预算和可选动作下运行。

预先测量是这套方法能够反复运行的关键。一份实验结果可以被大量搜索轨迹复用，从而摊薄成本，并让智能体迅速获得反馈。Quigley 也提醒，这还不能被准确地称为完全零延迟的实验室。反馈之所以快，是因为结果已经存在；评估之所以仍有意义，是因为智能体并未提前获得这些结果。研究者由此能够以较低的重复实验成本，反复观察模型如何搜索和决策。

四、学习与应用

这类环境的一个直接用途，是让实验预算的分配过程接受审查。Quigley 希望借此测量智能体会犯哪些错误、如何响应物理反馈，以及新的训练方案能否大规模改善科学决策。沿着这一方法，研究团队可以在运行前固定可选目录和预算，运行后同时检查最终表现、模型提出的假设、实际选择，以及收到反馈后的策略变化。这是由访谈方法推导出的应用建议，其作为审查流程的有效性尚未在节目中得到验证。

采用这类评估，首先需要明确可选动作的范围。Quigley 提到，药物化学家可能希望在某处添加甲基或移动一个基团，但预先测量的目录未必包含对应分子。人类参与者和智能体都必须受限于已测选项。如果要引入人类比较，就需要以有意义的方式呈现这些选项，否则很难区分表现受搜索困难影响，还是受界面和动作限制影响。智能体在目录内表现良好，也只能说明它在这些可选项中的决策值得进一步研究，尚不足以代表开放式实验设计能力。

环境的累计规模、当前产出与未来目标，也需要分别理解。Quigley 报告，公司已针对约一千种蛋白质筛选过两个左右的化学库，当时大约每天产生两个环境，目标是达到每天二十个。研究团队据此规划评估资源时，应以实际可用的环境为依据；每天二十个仍是目标产能。即使环境数量增加，模型能否处理新的生物学问题，也仍需单独检验。

强化学习是团队探索的进一步用途。Quigley 说，团队正在探索其他生物学或科学环境，但也明确表示，尚未确定这些环境中的强化学习进步能否迁移到新的生物学问题。因此，后续研究需要分别记录环境内的提升和新任务上的表现，不能以前者代替后者。快速反馈和可重复运行降低了开展训练实验的难度，却没有解决迁移效果的验证问题。

这些环境还指向一个可能超出药物化学的研究问题：有限的实验预算应如何分配，什么时候值得坚持，什么时候应转向其他方向？比较不同搜索策略时，需要保留具体任务条件，不能把一次行为观察直接推广为通用停止规则。Quigley 也透露，团队正在环境中加入更多结构相关的工具调用。要判断这些工具的价值，可以在其他条件相同的运行中，比较使用工具前后的分子选择与结果，并同时考察收益和额外资源消耗；访谈尚未报告这类比较的结论。

来源

• 原始节目：An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio