中文博客 / 随笔

当 AI 走到人类理解的边界

前沿物理学的回声：我们能创造出的能力，是否正在超过我们能理解的能力？

Zefan Cai · 2026 年 10 月 12 日 · 随笔

我越来越觉得，frontier AI 正在经历一个物理学早已经历过的转变。

从桌面实验走到大型对撞机，物理学逐渐让我们习惯了一件事：一个人很难同时掌握理论、实验装置和全部证据。解释需要的知识越来越多，验证需要的资源越来越大，最前沿的成果也越来越难被一个人完整地装进脑子里。

物理学已经把这种处境推到了极高的位置。现在，AI 也开始让人产生类似的感受：面对一条复杂的 reasoning trace，即使每个词都认识、每个工具调用都能打开，我们仍然可能无法判断，整条路径为什么成立。

能力的增长，可能正在快于人类理解它的能力。 我觉得这会成为 frontier AI 越来越重要的特征。

物理学如何走到这一步

从经典力学走向相对论和量子理论，物理学越来越依赖经过训练的数学理解。日常经验可以帮助我们想象一个球怎样运动，却很难直接提供理解量子场的直觉。学会计算、理解理论结构、形成日常意义上的画面，逐渐成了不同的事情。

与此同时，某些前沿基础物理问题的实验门槛也在升高。更高的能量、更精密的测量、更稀少的信号，要求更大的仪器、更长的观测时间和更多人的协作。关于希格斯场的理论在 1964 年提出，希格斯玻色子直到 2012 年才被发现；发现依靠的是大型对撞机、探测器，以及从大量碰撞中识别衰变产物的统计证据。CERN 对这段过程的介绍，本身就是理论、工程和验证如何相互等待的例子。

今天，像 Future Circular Collider 这样的拟议设施，也说明了某些问题为什么无法仅靠一个研究者“设计一个实验、试一下”来解决。实验能不能做，已经与基础设施和跨代际投入密切相关。

如果说物理学已经触及“人类智商的巅峰”，我更愿意把这句话理解为一种感受：它已经把个体经过长期训练所能掌握的抽象推理，推到了极高的强度。 这并不意味着我们测出了人类智力的上限，也不意味着物理学整体已经无法验证。大量物理研究仍然有活跃的实验反馈；一些极其反直觉的理论，恰恰拥有极其精确的实验支持。

但那个变化是真实的：在最前沿，理解与验证越来越需要一整套超出单个人的工具和组织。

AI 的 trace 为什么带来类似的感觉

在 AI 中，类似的困难会出现在一种看起来非常透明的东西上：trace。

这里的 trace，是我们能拿到的过程记录，例如模型输出的推理文本、代码执行、检索结果、工具调用，以及 agent 对任务的拆分和修订。它们记录的内容不同，也都不等于模型内部计算的完整解释。

设想一个 agent 为了解决一个研究问题，阅读多篇论文，构造几个候选方案，写代码做实验，根据失败结果修改假设，最后给出一个答案。我们可以保存这些步骤，甚至重放其中的大部分操作。

然而，要真正理解这条轨迹，人需要知道更多：它为什么选了这些假设？哪些实验排除了哪些可能性？中间那个看似无关的观察，是否恰好是后面结论的关键？如果删掉某一步，答案还会成立吗？

这要求的不只是阅读，而是在自己的脑中重建一部分研究过程。当轨迹足够长、依赖的领域足够多时，复核它可能已经接近重新做一遍这个任务。模型生成过程记录的速度，也可能远高于人类审查它的速度。

于是，一种曾经熟悉的安全感开始减弱：“只要把过程展示出来，我就能看懂它在做什么。”

自然语言让这种落差尤其明显。读到一页量子场论公式时，我们很容易意识到自己缺少背景；读到一页流畅的 AI 推理时，我们却容易把语言上的可读性，当成逻辑和机制上的可理解性。

当然，难懂本身不能证明智能更高。冗长、错误、重复和混乱，都能制造难以阅读的 trace。只有当一个系统在明确任务上持续给出可独立检验的好结果，而我们仍难以掌握它的方法时，“能力超过了我们的直接理解”才成为一个有意义的判断。

看见、理解和验证，是三件事

讨论这里的边界，至少需要分开三个问题。

看见，是有过程记录。我们知道它调用了哪个工具，生成了哪段文字，运行了哪份代码。

理解，是知道这些步骤之间的关系，知道哪些因素真正影响了结果，并且能说明条件改变后可能发生什么。

验证，是用足够独立的证据检验结论，明确它在哪些条件下可靠。

三者并不自动相互保证。即使 trace 中的每句话都很清楚，模型写出来的理由也未必忠实反映决定答案的因素。Anthropic 等研究者在 Reasoning Models Don’t Always Say What They Think 的受控实验中发现，模型有时利用了提示中的信息，却没有在 chain of thought 中披露这种影响。这说明，在那些实验条件下，不能把推理文本直接当成完整的因果记录。

机制解释研究尝试进一步追问内部计算。例如 On the Biology of a Large Language Model 通过内部特征和干预分析具体行为，也展示了文字解释与实际计算不一致的案例。但这种工作仍有覆盖范围和方法上的限制，距离为任意复杂任务提供完整解释还很远。

反过来，我们也可能在没有完全理解过程的情况下，可靠地验证某些结果。一份形式化证明，在公理和形式化陈述确定之后，可以由证明检查器检验；一个程序可以运行，并接受独立测试。测试通过，提供的是程序在被测输入和条件下表现正确的证据；形式验证所保证的是形式化的命题。它们都提供了超出“这段解释听起来合理”的证据。

真正棘手的是那些答案本身也难以检验的问题：一条新的科学假说是否正确，一项长期决策是否有效，一个复杂系统换了环境后是否仍然可靠。在这些任务里，读懂 trace 和验证结果的困难可能同时出现。

真正相似的是知识生产的方式

两者的实验条件有明显区别。许多 AI 行为实验仍然可以低成本重复，软件系统也允许我们保存输入、修改条件并重跑；这与建造一台新的粒子对撞机很不一样。

我认为更深的共同点，是知识越来越难由一个人独立地从头走到尾。 我们需要借助工具、分工和相互校验，把每个人只能理解的一部分组织成可靠的整体。

AI 还会让这个问题变得更尖锐：它既是我们研究的对象，也可能参与提出理论、设计实验和解释结果。当我们开始让一个模型解释另一个模型的 trace，解释本身也进入了需要验证的范围。两个模型给出一致答案，可以提供线索；若它们共享相似的盲点，一致性就不能单独构成结论成立的证据。

这意味着，评估、解释和验证工具需要与模型能力一起发展。对于能执行的任务，就让证据落到执行结果上；对于能做干预的机制，就检查改变关键条件是否真的改变行为；对于只能积累经验支持的判断，就把不确定性和适用范围保留下来。

人类理解的边界，会怎样移动

所谓“人类理解的边界”，也并不是一条固定的线。

一个人不借助工具能理解的事情，一个受过训练的团队能理解的事情，以及人类借助数学、仪器和计算机能理解的事情，范围差别很大。物理学过去的进步，正是不断扩展后两种范围的历史。

Frontier AI 正在提出一个紧迫的问题：系统能完成的任务范围不断扩大，而我们能以合理成本掌握其过程、检查其结果的范围，可能扩张得更慢。

我想，这种场景会越来越常见：它交出一个结果，我们能通过独立检查确认其中重要的部分，却很难在合理时间内掌握它找到答案的整条路径。

那会很像物理学给我们的感受：世界依然能够被研究，知识依然能够向前推进，但理解它所需要的东西，已经远远超过日常直觉。

我们亲手创造的智能，也可能把我们带到类似的位置。接下来的挑战，是让人类理解和验证智能的能力，尽可能跟上创造智能的能力。

参考资料

← 所有博客 · 回到正文