两篇文章相隔数日先后问世。
一篇是Anthropic的《When AI builds itself》:以数据论证AI已开始加速其自身的开发——并附有此前没有公开的内部指标:超过80%的代码,现由模型自己撰写。另一份是教皇通谕,利奥十四世的《Magnifica Humanitas》(本文聚焦论述AI的核心第三章),主题是AI时代人的尊严。
工程师与教宗,使用截然不同的话语体系。按理两者毫无交集,却一次次从不同方向指向相同主题。以下试分析若干,以及在其之上的共同问题。
1. "递归式自我改进"(recursive self-improvement)
当大多数AI讨论纠结于:它比我们更聪明了吗? 两文都悄然越过了这个问题。
真正改变游戏的不是更聪明的模型,而是一个反馈回路(feedback loop) ——系统成为自身迭代过程中的承重部件。Anthropic直接进行了命名 : 递归式自我改进,并加以量化:任务时间跨度大约每四个月翻倍,模型越来越多地承担工程工作,并运行实验以产出下一代模型。
教皇通谕自然没有使用工程术语,但援引了最古老的意象之一:巴别塔。我们习惯把巴别塔归类为"傲慢"与"高度"的故事,但其核心同样是一个项目的扩张速度超过了支撑它的协调能力,于是四散崩解。一个逃脱了建造者的回环。剥去神学外衣,我们得到的是一张系统图:
正反馈
缺乏调节机制
能力不断回流并增强自身
Anthropic的数据正在绘制这张图,教宗则标注了失败模式。
作者:真正需要关注的临界点可能不是什么"超智能",而是工具进入"递归自我改进"的那一刻——后者是一个低得多、近得多的门槛。
2. 系统的不可知性
这是不该被低估的共识。
通谕中最具技术洞察力的一句话是:现代AI是"被培育而非被构建"的——开发者并非逐块搭建能力,而是在培育一种架构;能力从训练过程中涌现出来,而系统内部的表征机制,即使对开发者而言,也仍有相当部分不可见。这并非神学家在跨界发挥,而是对前沿 AI 训练过程的准确描述。
Anthropic的整个论题同样依赖于这一事实:这些系统具有涌现性,并越来越具备自主性,如今已在引导自身改进的部分过程。
作者:于是双方在前提上达成共识——我们正在部署我们无法完全读懂的系统——但在结论上分道扬镳。对工程师而言,不透明性,以及随之而来的对齐(alignment)是一个待解决的问题。对教宗而言,它是呼吁谦逊、并踩下刹车的理由。
3. 技术的非中立性
通谕的原话是:技术"承载着构想它、资助它、规范它、使用它的人的面孔",更尖锐地指出——"如果AI道德由少数人决定,一个更有道德的AI毫无意义。"
这并非泛泛的人文批判。这是一个关于价值观在编码中体现的精确陈述:目标函数是什么,奖励信号是什么,怎样的评测标准,怎样的数据过滤机制。Anthropic的文章毫不回避地证实了这一点——它指出,目前人类工程师仍然"决定了问题是什么,并制定了评分标准"。文章还描述了一个自动的审查系统(reviewer),它正在整个代码库中执行着某种特定的质量标准。
作者: 通谕警告的那"少数人"不是修辞手法,而是真实存在的、正在制定标准的一小群人,其中就包括另一篇文章的撰写者。
4. 当人性成为瓶颈——真正的分歧所在
Anthropic 援引了阿姆达尔定律(Amdahl's Law):当你加速一个流程中的某个环节时,并不会消除约束,只会把约束转移到别处。他们给出的例子十分具体:随着模型代码产出的爆炸式增长,人工代码审查反而成了新的瓶颈。
通谕则用伦理语言描述了同一个现象:当“执行”几乎变得免费,真正稀缺的资源就变成了“决策”——以及是否还有人对决策负责。
于是,两篇文本最终汇聚到同一个节点:人类在环(human in the loop)。
但他们赋予这个节点截然不同的意义。
作者:对于工程师而言,它是延迟(latency),是一种需要被持续压缩和优化的摩擦;对于教宗而言,它是责任最后的落脚点,是绝不能拆除的承重墙。双方争论的并不是瓶颈在哪里,而是这个瓶颈究竟是系统的缺陷,还是系统存在的意义。
有趣的是,Anthropic自己的员工开始报告这种冲突所带来的后果。
有人怀念同事之间那种“小忙互帮”的礼物经济;另一位员工则写道,在一切顺利运转的日子里,“我做什么都无所谓……但当系统出问题时,我突然意识到,自己已经不知道一直在做什么了。”
作者:最接近技术加速的人,正在用自己的语言描述通谕所担忧的种侵蚀:当越来越多的判断与创造被转移给系统,人不仅失去任务,也开始失去对任务意义的感知。人类缓慢的判断、必要的摩擦、甚至能力的有限性,也许并不只是等待被优化掉的低效率,而是构成人类责任感、参与感与意义感的条件。
5. 未来并非注定
两篇文章似乎都在预言灾难,但恰恰相反。
Anthropic明确表示,递归自我改进并非不可避免。通谕则说,技术"不是命运"。两者都否定了技术决定论,这意味着两者都在提出一个政治与伦理主张:轨迹是一种选择,而这项选择仍然是开放的。
作者:两篇文章是彼此缺失的一半。Anthropic解释了事情可能会如何发生,但缺少目的,把对“我们应该做什么”的回答归结为协调与验证。似乎是一种不知道自己为何而治理的治理。而通谕则提供了明确的目的论 :人的尊严, 共同的善。但更多把技术机制当作黑箱,希望从外部加以约束。
把两篇文章放在一起,我们终于抵达那个真正的问题:如果智能开始参与自身的创造过程,那么人类究竟希望它服务于什么?以及,谁有权回答这个问题?
结论
AI时代最根本的问题,不是机器会不会比我们更聪明,也不是它会不会取代某些职业。而是:当我们把越来越多的建造工作交给我们所建造的东西时,人类究竟还是自己未来的作者,还是正悄然退化为一个我们已无法完全读懂其过程的监管者?
在这一点上,Anthropic与教宗的分歧直指核心。前者认为,人类独有的判断力、品味与方向感,是下一块等待被攻克的能力边界;后者则认为,那恰恰是技术永远无法占据的人性基岩。
于是,我们时代真正的抉择不再是技术性的,而是文明性的:
我们正在建造的会是一座不断加速、最终脱离其建造者掌控的巴别塔么?
原文阅读:
MAGNIFICA HUMANITAS
https://www.vatican.va/content/leo-xiv/fr/encyclicals/documents/20260515-magnifica-humanitas.html
When AI builds itself
https://www.anthropic.com/institute/recursive-self-improvement