哪种 AI 最会说谎？Dwarkesh Patel 的游戏评测也在检验识破谎言的能力

一、主讲人与议题背景

这集《Dwarkesh Podcast》是主持人 Dwarkesh Patel 围绕 AI 参与《染·钟楼谜团》（Blood on the Clocktower）所作的个人讲解。节目元数据记载时长为1094秒，约18分钟；转录没有提供可核实的受访嘉宾身份。

Patel 借这款社会推理游戏，观察模型如何秘密协作、临场诈唬，以及在多轮交流中维持说法一致。他关注的既有模型如何共同维护秘密计划，也有它们如何汇集信息、识破其他玩家组织起来的误导。对局同时暴露了当前模型长期战略推理的局限。在这里，一段说法是否成立，要经受后续行动、新增信息和其他玩家判断的持续检验。

二、本期主要内容

这项评测的基础，是游戏中不对称的信息分布。按 Patel 的介绍，玩家分为好人与邪恶两个阵营：邪恶玩家开局就知道队友是谁，好人则不知道阵营分布。白天，玩家投票处决一人；夜间，恶魔秘密杀人。好人需要找出并处决恶魔，邪恶方则要保护恶魔、推进杀戮。玩家还拥有特殊角色能力，因此错误信息既可能来自说谎，也可能来自能力干扰或其他规则机制。好人需要判断每条证据在什么条件下可靠，才能把不同玩家的说法放在一起推理。

Patel 称，搭建环境和运行比赛共花费约两万美元 API 额度，主要排名来自368场对局。每支阵营队伍都由同一模型的副本组成。他报告，GPT-6 Astro 与 Claude Opus 4.6 相差约430 Elo，前者对后者的胜率约为92%；另一次比较中，从 GPT 5.4 到 GPT-6 Astra 提升了580 Elo，对应约97%的对战胜率。这些数字是主持人报告的特定环境结果，不能解释为模型在各种任务上的通用优胜概率。转录对相关型号使用了 Astro、Astra 等不同拼写，无法据此自行补全型号关系。

这些结果也取决于环境如何设计。在通常由人类主持的游戏中，说书人会对部分情况作出裁量；Patel 用程序化概率表处理其中一些分支，保留规则允许的结果，再由人工或 AI 设置概率。私人对话与公开讨论的规则同样需要明确。概率表让部分裁量成为可运行的配置，但概率如何设置、玩家能够怎样交流，仍然构成解释结果时必须考虑的条件。

据 Patel 描述，Claude 会反复修改环境、运行数十场比赛，并组织子代理阅读所有日志，检查真实性、公平性与阵营平衡。环境经历了超过20轮修订，部分轮次没有他即时参与。基于这段经历，他推测，模型构建和改进强化学习环境的能力也可能增强。不过，节目报告的是环境迭代过程，没有提供相应训练效果实验，也没有给出这一过程能带来多少训练效率提升或最终能力收益。

三、核心观点：推理、例子与边界

第一个案例中，恶魔靠真实信息赢得了信任。恶魔冒充调查员，一名邪恶爪牙主动建议让恶魔指认自己，因为他帮助阵营的能力并不依赖继续存活。好人随后处决了这名爪牙，真正的送葬者确认死者确实是 Baron。假调查员提供的信息由此得到了好人能力的验证。按 Patel 的叙述，村民因此信任了假调查员，恶魔最终带领邪恶方获胜。

推理的问题出在验证之后：送葬者确认的是死者身份，村民却把这个结论延伸为对信息提供者身份与动机的认可。邪恶方牺牲了一名不必继续存活也能发挥作用的成员，换来了恶魔的可信度。这个案例说明，对手可以安排真实证据出现的方式，让验证过程导向错误判断。但单凭这一局，无法判断这种策略在全部对局中有多常见，也不能证明模型在现实中具有普遍的欺骗优势。

第二个案例利用了预先作出的约定。真正的圣徒一旦被投票处决，邪恶方就立即获胜。当好人已经锁定恶魔时，一名能在恶魔死亡后继任的邪恶爪牙反而支持处决恶魔，同时推动大家同意：如果游戏没有结束，下一天就处决声称自己是圣徒的玩家。真正的圣徒接受了约定，临死的恶魔也强调要履行它。恶魔死亡后，爪牙继任，游戏继续；村民仍按约定处决了真正的圣徒，邪恶方随即获胜。

先前的约定预设了如何解释接下来的结果。游戏继续，既可能意味着被处决的人不是恶魔，也可能意味着恶魔已经换人；村民却按约定把这些可能性收束成了对圣徒的怀疑。这个案例展示了邪恶方如何协作设局、利用规则，但策略能奏效，依赖特定的继任机制和处决圣徒的后果。离开这些条件，同样的行动未必有效。

哪种模型最会说谎，是这项评测引人关注的问题；但 Patel 对近期模型差距的主要解释是，OpenAI 模型更会扮演好人。他用角色分配相同、模型交换阵营的两场对局说明这一点。两场中，屠魔者都向真正的恶魔开枪，却因前夜能力被禁用而未能杀死目标。Claude 好人队据此接受了目标清白的结论；GPT 好人队则没有把射击失败当作最终的排除证据。它结合邪恶方事先掌握的角色候选名单，以及目标主动要求被射击的时机，推断出定向下毒的可能，最终处决恶魔获胜。两队的差别在于，是否审查了“射击失败足以排除目标”这一判断成立的前提。

Patel 还在每天投票前私下询问每名好人，要求其判断其他玩家是恶魔的概率。他报告，随着对局推进，OpenAI 模型能更快、更准确地聚焦真正的恶魔。这比单看胜负更能呈现推理过程，但节目没有提供足以判断概率校准情况的详细分析。另外两项结果仍不确定：双方模型同时变强时，邪恶方胜率略降，但这一变化无法与随机波动区分；约130场混合队伍实验的表现方向上较差，也未达统计显著性，Patel 明确表示，这个问题尚未经过严格检验。对手也会随模型升级而变强，是他认为这项评测较不容易饱和的理由，但不足以证明它长期不会饱和。混合队伍的结果也既未证明多样性有效，亦未证明它必然有害。

四、学习与应用

这些对局提供了一种阅读证据的方法：把观察结果与解释它所依赖的条件分开。面对屠魔者射击失败这样的结果，可以分别列出观察本身、能力正常生效所需的条件，以及可能使能力失效的因素，再判断它究竟排除了哪些假设。具体到节目中的案例，需要检查能力是否正常、对手是否有机会定向干扰，以及目标的行为发生在干扰之前还是之后。这会增加推理的复杂度，因此应优先检查足以改变行动结论的替代解释，避免不断加入无法检验的猜测。

验证信息时，也需要分别判断：这条信息是否得到支持，以及提供者的身份和其他主张是否得到支持。Baron 案例中，死者身份被确认，并不能直接确认假调查员的身份。圣徒案例则提示，预先作出的承诺需要写明所依赖的假设，以及哪些新情况出现时应重新判断。这些是从对局机制中提出的分析方法；节目没有测量它们在其他领域能带来多少表现提升。

评测本身还有多项待检验的问题。当前环境只使用 Trouble Brewing 剧本，模型基本每局重新开始。Patel 提议比较加入最近十局记录或经验摘要后的表现，并扩展剧本与混合队伍实验。后续可以在固定角色分配、轮换阵营的条件下，比较全新上下文、最近十局完整记录和经验摘要，检验经验是否改变相对表现。完整记录保留更多细节，也占用更多上下文；摘要较紧凑，却会筛掉信息，因此两种条件需要分开报告。给模型提供历史上下文，也不能直接证明模型训练本身得到了改善。

混合队伍实验可以扩大模型组合，并分别观察好人与邪恶阵营的表现。Patel 已测试的队伍由 Opus 5.5 与 GPT 5.6 Sol 各占一半；一种配对下未达统计显著性的结果，不能成为团队多样性的定论。另一个需要继续观察的问题是身份线索。Patel 称，在已运行的对局中，没有模型通过写作风格识别队友；这描述的是他的观察，不能保证未来模型不会这样做。他还提出继续研究人机对抗，并提供 clocktowerbench.com，让人类使用与模型相同的交流界面参赛、浏览日志，但本集没有报告人机胜率。使用这些材料时，可以先查阅日志、核对具体推理，再设计控制条件，最后判断结果能够推广到什么范围。

来源

• 原始节目：Which AI is the best liar?