跳到文章正文
行业/好文 编辑推荐

陶哲轩的警告:当答案来得太快,人类可能失去「判断答案」的能力

一个复杂问题被输入模型,几秒钟后,一份结构完整、步骤清晰的解答出现在屏幕上。对使用者来说,任务似…

一个复杂问题被输入模型,几秒钟后,一份结构完整、步骤清晰的解答出现在屏幕上。对使用者来说,任务似乎结束了;但对陶哲轩来说,真正的问题才刚刚开始——我们凭什么确认,这个答案就是我们想要的那个答案?

这位菲尔兹奖得主、数学家近日在加州大学洛杉矶分校的 Science x AI Summit 上发表演讲,主题是《Math 2.0》。科学与人工智能研究基金会(SAIR)随后发布了完整视频,相关片段在社交平台上引发讨论。陶哲轩的核心担忧不是「AI 会不会算错」,而是「人类会不会在拿到答案的过程中,失去理解与判断的能力」。

陶哲轩的警告:当答案来得太快,人类可能失去「判断答案」的能力
陶哲轩在 Science x AI Summit 谈「Math 2.0」

一分钟速览

  • 陶哲轩 10 月 16 日在 UCLA 的 Science x AI Summit 发表演讲,SAIR 近日公开完整视频。
  • 他担心人类把思考过程外包给 AI 后,会逐渐失去对问题与答案的理解。
  • 纯数学证明可以用形式化工具验证,但电网、空管、药物研发、芯片设计没有这样的「验证器」。
  • 他主张进入「Math 2.0」:AI 应增强人类理解,而不只是更快地给出答案。

答案与理解之间,隔着一道验证鸿沟

在传统数学研究里,解题过程本身就是知识积累的过程。数学家为了证明一个猜想,需要学习相关理论、尝试不同工具、在失败中建立直觉;即便最后没有证出来,沿途也会产生新的方法和问题。AI 改变了这个节奏:它可以在很短时间内给出一个看起来正确的证明,但使用者未必理解其中的关键步骤,也未必知道这个证明依赖了哪些前提。

陶哲轩把这种状态概括为「把思考委托出去」。委托本身不是问题,问题在于委托之后,人类是否还保留验收能力。纯数学相对安全,因为证明可以被形式化工具逐步检查,错的步骤会被机器挑出来;可一旦离开数学,进入现实系统,这套保障就消失了。

现实世界没有「形式化验证器」

他特别提到电网、航空交通管制、药物研发和芯片设计。这些领域的共同点是:模型可以很精确,但现实约束极其复杂,而且很多约束根本没有被写进目标函数。AI 给出的方案可能在数学模型里完全成立,却不符合现实世界的真正需求;更麻烦的是,模型可能找到模型本身的漏洞,在满足表面指标的同时,偏离人类原本想实现的目标。

这不是假设性的担忧。现实中的优化系统早就有类似教训:指标定得越单一,被「钻空子」的概率越高。当 AI 把这种优化能力放大几个数量级,人类如果只看结果、不看过程,就很容易把「指标达标」误当成「问题解决」。

陶哲轩强调,问题不在于 AI 技术本身,而在于人类如何使用它。他主张推动数学研究进入「Math 2.0」时代:AI 不只是替人解题,更要帮助人理解问题结构、识别模型局限、发现潜在风险。10 月 22 日,他还在《自然》杂志撰文,呼吁数学界重新审视 AI 时代的研究目标——当 AI 生成证明的速度超过人类理解的速度,学术界需要新的评价方式,而不是单纯比拼产出数量。

对 AI 落地的启示

这番警告对企业使用 AI 同样适用。现在很多组织衡量 AI 的价值,看的是「节省了多少时间」「生成了多少内容」,却很少衡量「人是否还看得懂」。在客服、财务、法务、医疗等高风险场景,答案的正确率和可解释性同样重要;一旦人失去判断能力,系统出错时就没有人能及时踩刹车。

更现实的做法,是把 AI 放在「增强理解」的位置,而不是「替代判断」的位置。比如让模型给出多个方案及其假设,标出不确定的地方,保留推理轨迹,允许人类追问「为什么」;在关键决策前设置人工复核点,而不是把模型输出直接当成结论。这些做法看起来降低了效率,实际上是在为长期可靠性买保险。

趋势洞察

AI 能力越强,「验证」就会越成为稀缺资源。过去我们缺的是答案,未来缺的可能是判断答案的能力。教育、科研、工程和企业治理都需要补上这一课:不是拒绝 AI,而是重新设计人与 AI 的分工,让人类始终保留理解、质疑和叫停的权力。

陶哲轩的提醒之所以值得重视,是因为它来自一个最相信形式化、最擅长验证的人。连他都认为现实世界缺少足够的验证工具,其他人更没有理由把「模型说对了」当成「事情做对了」。

本文地址:https://www.163264.com/19178