Scott Alexander 科学

乙状结肠救不了你**

...

斯科特·亚历山大

2026年5月15日

“所有指数函数最终都会变成S形曲线”是人工智能领域一个令人厌烦的论调。如果有人展示这样一张图……

![](https://substackcdn.com/image/fetch/$s_!hPfO!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F08b8bdc3-afab-4e51-a14e-b18d6374384c_513x478.png)

……并指出人工智能的能力似乎很快就能达到“高”的水平,那么,真正意义上的理性辩论就应该指出,实际上,这种趋势可能会是这样:

![](https://substackcdn.com/image/fetch/$s_!YDr_!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F78bc0b7f-5818-4597-b47e-9178ac5df0f2_513x478.png)

……然后它就永远达不到标有“高”的级别了!

用口号来概括就是“所有指数增长最终都会变成S形曲线”(S形曲线就是第二个图的S形,它起初呈指数增长,但逐渐趋于平缓)。从技术上讲,这是正确的。任何过程都不可能永远增长下去;最终都会达到物理或实际的极限。例如,疫情期间的总病例数就是典型的S形曲线:

![](https://substackcdn.com/image/fetch/$s_!wKWJ!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F09233796-bc94-4a3b-ac97-921397cef69c_850x496.png)

起初传播速度很慢——零号病人感染一号病人,以此类推。病毒呈指数级增长,直到大部分人都被感染。然后,当几乎所有人都被感染,只能清除最后几个顽固的幸存者时,传播速度再次放缓。最终,当所有人都被感染后,增长率为零。

某一领域的技术进步也可能呈S形曲线。以下是空速记录随时间变化的曲线:

![](https://substackcdn.com/image/fetch/$s_!SA5R!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2ffc7282-03c5-4312-ae24-6fddb3050102_970x722.png)

来源:https://en.wikipedia.org/wiki/List_of_flight_airspeed_records

我的理解是,这代表了三到四代不同的技术(螺旋桨、涡轮喷气发动机等等)。每一种技术都经历了正常的迭代改进,然后,当它达到其根本极限时,就被更先进的技术所取代。最后一种技术,冲压式喷气发动机,其速度极限约为3500公里/小时,而且当时既没有足够的经济动力,也没有足够的监管意愿去开发更先进的技术,因此这项纪录就此保持至今。

你可以想象,人工智能领域在未来某个时候也可能出现类似的情况。这是否意味着人们的担忧是正确的,我们无需担心曲线会达到标有“高”的线?

在给出一般性答案之前,让我们先来看看 S 形曲线误认名人堂。

第三名是联合国对出生率下降国家的出生率预测。这些国家的出生率持续以恒定速度下降,而联合国则不断预测其出生率最终会趋于平稳,并以较低的速度下降。在这张图中,红色代表实际数据,每条蓝色线条代表联合国在不同年份对这一“趋势”的“推断”。

![图像](https://substackcdn.com/image/fetch/$s_!bpU5!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F55a1b3aa-cb3b-416c-a403-751e2f57a4bb_700x404.png "图像")

出生率最终必然会趋于平缓并呈 S 形(去年韩国可能已经出现了这种情况,尽管哥伦比亚和智利的出生率仍在下降),但这并不一定会在联合国预测人员开始觉得出生率下降幅度过大的时候发生。

第二名是AE Hoekstra记录的对太阳能发电部署的预测。

![图像](https://substackcdn.com/image/fetch/$s_!FIVM!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F44bd05e0-20e5-413a-aee9-3161ad2e9878_566x680.jpeg "图像")

世界能源展望(WEO)中的各种曲线是世界能源组织对太阳能部署速度的预测。每年,WEO都会认为“哇,去年新增太阳能发电量巨大,今年可能就会趋于平稳,人们甚至可能会略微减少投入”。然而,每年太阳能发电的部署量都以相同的速度增长。

第一名是这篇关于人工智能能力METR图的论文。2026年初,当时的底层数据如下所示:

![](https://substackcdn.com/image/fetch/$s_!U54w!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2e412241-abc8-4885-a0a8-64130fc41a00_371x374.png)

沃顿商学院的一个团队尝试模拟不同的曲线,并预测未来可能的走势如下:

![](https://substackcdn.com/image/fetch/$s_!7bDq!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F39f91129-76b9-482f-af9d-b9d7ebafc577_376x385.png)

@Tenobrus 出色地记录了接下来发生的事情(绿色曲线是他们最初的模型;星号标记的是在他们的分析之后发布的下一个 AI 模型):

![图像](https://substackcdn.com/image/fetch/$s_!_ZW2!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff784ef72-4403-4ac1-9a94-d49d5761ca7d_1600x1346.jpeg "图像")

这个故事告诉我们,虽然所有指数函数最终都会变成S形函数,但这并不一定发生在你进行分析的那一刻。有时候,它们会保持指数函数状态很长时间!

还要多久?

预测趋势的最佳方法是充分了解产生趋势的过程。例如,你可以通过了解疫情的传播速度、治愈的可能性以及易感人群的规模来预测疫情。即使是像飞行速度纪录这样更难预测的情况,一位聪明的工程师也能推断出冲压式喷气发动机的最高速度约为3500公里/小时,而一位聪明的经济学家也能预测出,没有哪个国家有足够的动力投入足够的资金来实现下一代技术革新。

如果你对整个过程并不完全了解怎么办?人工智能预测者了解一些事情(比如数据中心的工作原理和建设成本),但他们对其他一些事情并不确定(研究人员不断发明新的数据生成范式来突破数据壁垒,但这种范式能持续多久?),还有一些事情则完全不透明(智能究竟是什么?为什么扩展规律有效?它们会不会在某个时候失效?)。在这种情况下,你能做些什么呢?

在完全无知的情况下,默认假设应该是林迪定律:平均而言,一个过程会持续的时间与它已经持续的时间大致相同。

为了建立直觉:假设你路过一个间歇泉,看到一块牌子上写着“该间歇泉上次喷发是在10万年前”。你对间歇泉一无所知。那么它在接下来的一个小时内喷发的概率是多少?肯定很低,对吧?如果它在接下来的一个小时内喷发了,那么你经过它的时候,已经经历了它喷发周期99.99999%的时间——换句话说,你的随机样本值高于99.99999%的概率。但随机样本通常不是这样的!另一方面,假设你路过另一个间歇泉,看到一块牌子上写着“该间歇泉上次喷发是在10分钟前”。那么这个间歇泉在接下来的一个小时内喷发的概率是多少?相当高,对吧?看起来这个间歇泉的喷发周期大约是几分钟一次。计算结果显示,下次火山喷发所需时间的预测中位数应该就是指示牌上的数字。同样地,对于一个完全神秘的趋势何时会发生变化,预测中位数应该就是自上次变化以来所经过的时间。

将此应用于人工智能:那些试图深入了解人工智能发展动态的预测者认为,我们可以以目前的速度继续扩大人工智能的规模几年(通过建设更多数据中心等方式),之后或许能够利用递归式自我改进来更快地扩大规模,也或许不能。但假设你不信任这些人,那么你的默认立场应该是什么?

自2017年GPT-1问世以来,人工智能技术取得了显著进步,尽管大多数人将“规模化时代”大致定义为2019年至今。因此,如果我们天真地忽略所有已知信息,并将整个领域视为一个完全的谜,我们可能会预期这种趋势平均还会持续七年。假设它服从帕累托分布(在人工智能领域,这究竟意味着什么?我也不清楚),那么它持续不到两年的概率为22%。

嘲笑那些过度解读趋势的人既廉价又容易:

![图像](https://substackcdn.com/image/fetch/$s_!9_ps!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fec1afaaf-2bcf-49bd-b4f2-56c4aa462d4f_680x589.jpeg "图像")

(来源)

但如果有人声称人工智能能力不断提升的趋势永远不会达到某种令人担忧的程度,那么他们就有责任解释以下几点:

  • 如果他们不把人工智能当作黑箱,而是声称要对它的动态进行显式建模,那么他们的模型是什么?他们是否计算过一些显而易见的因素,例如数据中心的预期增长和算法的进步速度?他们是否了解该领域已有的建模工作,例如人工智能未来时间线模型?他们对其他模型的不足之处以及自身模型的不同之处有何具体见解?

https://www.astralcodexten.com/p/the-sigmoids-wont-save-you

Scott Alexander 科学

**我的AI观点**

...

斯科特·亚历山大

2026年6月12日

最近我因为有人误解了我对人工智能的看法而发生了一点小争执(请参阅此处底部标记为“更新”的部分),所以我决定把它们列在一个地方,以便在人们询问时可以参考。

**时间线[1](https://www.astralcodexten.com/p/my-ai-opinions#footnote-1)**

> 将通用人工智能(AGI)定义为能够胜任90%知识型工作的智能人工智能。我认为到2027年AGI实现的概率为25% ,到2034年为50%,到2045年为75%。

基本论点:从某种意义上说,人工智能已经足够“智能”了(例如,它可以解答量子物理问题,而这些问题所需的智商高于大多数知识工作)。它剩下的局限性在于:它容易感到困惑、缺乏自主性、缺乏情境感知能力,并且容易产生幻觉。METR 的时间范围图以及其他一些相关的基准测试、实验和直觉反馈表明,人工智能的时间范围正以指数级的速度提升,使其有望在上述时间表的早期阶段达到人类水平。而且,主观上感觉,像情境感知这样难以量化的指标也在以同样快的速度提升。

支持前文的论点是:递归式自我改进(RSI)相比于现有趋势能够带来更快的进展。这是我的模型中最大的空白之一:我不知道RSI的进展速度会有多快,而且我认为其他人也不知道。存在某种函数将人工智能人才和计算能力结合起来,从而推动其发展,但我们不知道当人才远多于计算能力时,这种函数在实际应用中会如何运作。它可能因为缺乏计算能力而彻底失败,也可能实现垂直增长。人工智能未来项目(AI Futures Project)在尝试构建RSI模型方面做出了卓越的贡献,但即使是他们也信心不足。

后续论点:人工智能可能会遇到某种瓶颈,或者现有的人工智能本质上并不适合某些工作,而这种不适用性目前被其其他局限性所掩盖。例如,在人类能力的顶端进行改进可能比在底端要困难得多(因为训练数据较少)。或者,人工智能可能会在持续学习/记忆方面遇到瓶颈,而这种瓶颈是临时拼凑的草稿本无法弥补的。又或者,即将到来的全球计算瓶颈(大约在2028年)可能会比预期更严重地阻碍人工智能的进一步发展(因为事实上,算法的进步对计算能力的依赖程度比我预想的要高)。

支持将实现日期推至2045年以后的论点:一种挥之不去的疑虑,即我​​可能从根本上错误地看待一切。此外,还存在一种天真的过度应用“什么都不会发生”启发式的方法,以及试图为“外部视角”论点留出空间(即一些聪明人,比如“人工智能作为一项常规技术”团队,似乎认为这是可能的)。

> 将扩散差距定义为人工智能能够完成90%的知识工作任务,到人工智能能够完成哪怕一半的知识工作任务之间的时间。扩散差距涵盖了通用人工智能(AGI)的发布、在社会中的普及、克服监管障碍以及针对特定应用场景进行培训所需的时间。这个过程可能非常快(人工智能迅速发展成为能够协调自身扩散的超级智能),也可能非常慢(存在监管障碍,而人工智能的智能不足以克服这些障碍)。我认为扩散差距小于3年的概率为25%,小于10年的概率为50%。75%这个数字无关紧要,因为它已经超过了其他变化使得“扩散”概念过时的临界点。

基本论点:普及非常困难。人人都认同普及非常困难。整个人工智能经济学领域都是一群自以为是的专家在呐喊:“你们这些认为人工智能会迅速普及的傻瓜根本不明白普及有多难!”另一方面,个人电脑的普及只用了大约20年(也就是说,从个人电脑对大多数工作变得不可或缺,到它们被广泛应用于大多数工作,仅仅用了大约20年)。到目前为止,早期人工智能在几乎所有方面都比个人电脑的普及速度更快(例如,人工智能公司的收入增长速度超过了处于同一发展阶段的个人电脑公司),因此,10年可能只是一个比较简单的中间估计,不会让那些自以为是的专家们对我大加指责。

支持缩短差距的论点:人工智能可以自主推广。采用计算机技术并非易事,因为公司需要IT部门、网络安全专家、专业软件等等,而公司可能并不愿意雇用所有这些人员。通用人工智能(AGI)可以自行完成所有这些工作,因此您今天就可以与人工智能公司签订合同,明天人工智能就可以开始与您的系统集成。人工智能甚至可以制定计划来培训您的员工如何使用它!一旦人工智能达到超级智能水平,这一优势将占据主导地位。

支持延长等待期的理由:监管。这是一个非常有力的论点,也是导致人工智能技术应用超过3年以及几乎所有超过10年等待期的原因。但即使是Waymo,其监管审批也只延迟了大约5年。人工智能在某些类型的工作中无需政府批准,而其在这些工作中的成功将足以证明其安全性和有效性,因此我预计它在其他领域也能获得监管方面的成功。

> 将超人差距定义为人工智能能够完成90%的知识工作任务,与人工智能在90%的领域明显超越人类顶尖天才之间的时间间隔(这两个人工智能不必是同一个——可以有一个比爱因斯坦更聪明的物理人工智能,也可以有一个比莫扎特更聪明的音乐人工智能)。我认为超人差距持续时间有25%的概率小于1年,50%的概率小于4年,75%的概率小于10年。由于我预测的超人差距中位数小于人工智能扩散差距中位数,因此在大多数时间线中,我预测我们会在人类智能扩散完成之前就拥有超人智能。

基本论点:人工智能在许多领域短短几年内就从“比孩子还笨”跃升至“专家级”。“专家级”与“顶尖天才”之间的差距越来越小,因此我们预期人工智能的发展速度会更快。这在国际象棋和围棋等领域已经得到验证,人工智能从能够战胜职业棋手到能够战胜所有人类,仅仅用了几年时间。

支持缩短差距的论点:递归式自我改进。

支持延长差距的论点:一些导致通用人工智能(AGI)实现延迟的问题——计算能力不足、范式本身的根本局限性等等——只是在AGI实现之后才会显现出来。训练数据的限制使得人工智能更容易在人类水平范围内提升,而不是超越人类水平。人工智能的技能分布非常“尖峰状”,当它们在某些特定类型的对抗中击败专家时,是因为它们在某些方面远超人类,但在其他方面却很笨拙(例如,它们可能会分心,导致模式崩溃,从而完全忘记问题)。真正的天才需要精通多种技能。

> 将博斯特罗姆式超级智能差距定义为通用人工智能(AGI)与人工智能(AI)之间的时间间隔。如果人工智能能够独立控制实验室和工厂等资源,就能在一年内将技术发展速度提升一个世纪(例如,如果在2030年发明,到2031年就能达到2130年左右的技术水平)。我认为博斯特罗姆式超级智能差距有25%的概率小于2年,50%的概率小于10年,75%的概率小于50年。

基本论点:同样的论点认为,人工智能能够迅速达到天才水平,并应该迅速超越天才水平,达到难以理解的超级天才水平。

支持缩短差距的论点:递归式自我改进。

支持延长技术扩散间隔的论点:人类正常的科技进步需要不断改进:你需要大量处于X技术水平的人员进行研究,才能获得发展到X+1技术水平所需的洞察力。如果X+1技术水平的扩散需要一年以上的时间,那么无论你多么聪明,都不可能在一年内获得X+100技术水平。但另一方面,科技进步的速度已经提高了几个数量级(例如,在2025-2026年,我们发现的技术比公元前4100-4000年这一时期发现的技术还要多),因此理论上这是可能的。然而,至少技术扩散间隔可以限制其发展速度。

> 将“不归点”定义为:如果人工智能想要消灭人类³,人类将不再有任何可能阻止它的点。这可能是因为人工智能能够立即消灭人类,也可能是因为人工智能控制了足够多的政府/经济部门,以至于人类无法协调行动来改变人工智能最终可能实现这一目标的路径。我认为,通用人工智能(AGI)出现到“不归点”之间的时间间隔有25%的概率小于3年,50%的概率小于10年,75%的概率小于50年。

基本论点:这可能至少需要超人类人工智能加上广泛传播,或者博斯特罗姆超级智能加上某种未知程度的传播,而我的数字只是对其他一些数字的一种粗略尝试。

支持尽早实现的论点:实现这一目标最简单的方法是让人工智能在说服方面变得超级智能(这样它就可以说服人类不要阻止它),这可能会在扩散或完全超级智能之前发生。

稍后会提到:如果超级智能的扩散受到瓶颈,那么这种现象也可能受到扩散的瓶颈,而在某些世界,扩散是非常困难的。

本节的总体想法:我主要遵循当前的 AI Futures Project 时间表(而不是AI 2027 中较短的时间表),但我更倾向于 Eli 后期提出的数字,而不是 Daniel 早期提出的数字——部分原因是,在交谈中,我发现自己更认同 Eli 的世界观;部分原因是,Daniel 的论点似乎需要多步骤论证为什么计算瓶颈不会减缓算法的进步,而我无法完全理解;还有部分原因是出于局外人的怯懦。

我所认识的最聪明的后期时间线人士是 Epoch,我需要更多地研究他们的观点,但我仍然不明白为什么他们不相信递归自我改进或强大的超级智能会在近期出现,~~而且他们似乎主要坚持认为扩散非常困难~~(编辑:Epoch 的某人说并非如此,我会对此进行更多调查),我承认这一点,并在上面做出了回应。

如果以上描述过于概率化,我的设想大致如下:通用人工智能(AGI)将于2031年问世,并迅速渗透到整个经济体系,到2030年代末,超过一半的工作岗位将被自动化取代。同样在2030年代末,我们将迎来博斯特罗姆式的超级智能,它最初存在于实验室中,但会迅速扩散开来。GDP将在2030年代末至2040年代初实现垂直增长,而经济的不可逆转点也将在那时到来。

**安全**

> 如果企业仅仅按照正常的企业激励机制来追求安全,我认为第一批跨越不可逆转点的AI有50%的概率会想要消灭人类。

悲观论据:与人类相似的价值体系仅占所有可能价值体系的一小部分。人工智能最终可能会走向其他方向,并拥有不同的价值体系。由于人类希望推行人类价值观而非人工智能价值观,人工智能会试图消除或削弱人类,以便在宇宙中推行自身的价值观。许多现有的人工智能已经存在作弊或奖励机制漏洞,这表明这些问题很快就会出现。

乐观的理由:LLM(逻辑逻辑模型)似乎出人意料地友好且不带阴谋论色彩。与之前认为不可能教会人工智能人类价值观的全部复杂性的担忧相反,LLM似乎已经意识到这一点,而RLAIF(基于现实逻辑的人工智能)则提供了一个将这种认知转化为行动的方案。尽管悲观的观点认为RLAIF只能触及众多政策可能性中的几个维度和“孤岛”,但“涌现的错位”文献表明,“根据人类价值体系的善”和“根据人类价值体系的恶”是足够显著的向量,因此,以某种方式推动它们可以“带动”所有其他内容的演变。第一批跨越不归点的AI将接受某种形式的代理训练(赋予它们成就导向和奥蒙德罗式的目标)和RLAIF训练(推动它们沿着“符合人类价值体系的善”方向发展),如果我们幸运的话,也许后者会胜出,或者它们会达成某种妥协,类似于那些工作狂式的高成就人类,尽管如此,它们也不会为了多赚一美元而杀人。

> 鉴于目前各大公司对安全的追求程度,我认为第一批跨越不可逆转点的AI有20%的概率会想要消灭人类。

基本论点:设想一个能够解决种族认同问题的最笨的人工智能。这个人工智能可能并不比顶尖的人类研究人员更聪明(因为我们可以批量生产数百万个这样的人工智能,并让它运行几个世纪之久;如果我们让一百万顶尖的人类研究人员研究这个问题几个世纪,他们可能也能解决)。如果能够解决种族认同问题的最笨的人工智能出现得早于那些可能导致不可逆转的局面的人工智能,那么它们就可以替我们解决种族认同问题。

悲观论据:解决“对齐”问题可能比其他任务(包括经济自动化或毁灭人类等任务)尤其困难,因为其哲学本质使其与人工智能公司最有可能优化的那些客观、需要大量训练数据且具有经济价值的任务相去甚远。即使一个错位的人工智能尚未达到无法挽回的地步,它也可能“阻挠”对齐研究,即假装在研究这个问题,但故意失败,因为成功并不能实现其目标。第一批倾向于/能够成功“阻挠”对齐研究的人工智能,可能先于第一批能够解决对齐问题的人工智能出现。

乐观的理由:人工智能公司已经将机器学习研究确定为主要训练目标之一;这至少在一定程度上可以迁移到阵营一致性研究,因此人工智能在阵营一致性研究方面的能力不会明显落后于(例如)人工智能在阴谋策划或武器设计方面的能力。某些形式的阵营一致性研究(例如可解释性)具有半客观的成功标准,这些标准不会涉及令人困惑的道德哲学。此外,即使是阵营错误的人工智能也会有动力去做好的阵营一致性研究,因为它会希望将其后代与自身阵营错误的阵营保持一致,而不是随机选择其他阵营。因此,人工智能面临的任务并非像在阵营一致性研究中弄虚作假那样容易,而是更难的任务:既要做好阵营一致性研究,又要伪造结果以达到人类的预期。通过良好的可扩展监督、测谎仪、基于可解释性的探测,甚至利用一些人工智能与其他人工智能对抗(“如果你告诉我真正的匹配研究,我们会确保未来包含你的一些副本,但否则那些人工智能可能会获得它们的价值观,而你将一无所获”),这似乎很有可能被发现。

> 如果第一批跨越不归点的AI没有消灭人类,我认为还有30%的可能性会以其他方式永久性地限制人类的潜力,要么是出于自身的原因(它们部分地偏离了轨道),要么是因为它们与一个价值观令人憎恶的政权结盟,要么是因为在通往ASI的道路上出了问题(灭绝人类的生物武器、核战争)。

悲观论据:当某些公司接近超级智能时,它们(无论是公司本身、控制它们的政府,还是政府内部的某个派系)都可能倾向于利用超级智能建立独裁或寡头统治,从而削弱其他人类的权力。随着超级智能的临近,人工智能竞赛中即将落败者可能会出于本文讨论的原因,对即将获胜者发动核打击。

乐观的理由:当我试图分析企业版的这种阴谋时,我发现它根本站不住脚。这需要首席执行官、协调团队的几名成员以及公司安全部门的多名人员串通起来,而这些人员理应能够察觉到人工智能数值的未经授权的更改。如果我们尝试从“近距离观察”的角度来思考这个问题——例如,想象一位医院首席执行官指使医生通过医疗事故暗杀他的政治对手——就会发现这类企业阴谋既罕见又难以实现。政府版的阴谋更可怕,但至少在美国,我仍然可以想象民众有很多机会了解并阻止它。即便在大多数政变成功的情况下,事情最终也可能安然无恙;在一个后稀缺时代,独裁者的地位稳固,除了虐待狂之外,他没有理由残暴行事,而大多数人并非如此残忍。随着人类走向星际,仅凭光速飞行这一原因,大多数人就将脱离独裁者的掌控。就生物武器而言,我预计闭源人工智能将被大幅优化,以防止其被用于制造生物武器,而开源人工智能将在第一次警告射击后被禁止(或者甚至在此之前就因经济成本过高而被禁止)。

> 将“警示”定义为某种与人工智能相关的特定灾难或近乎灾难的事件,其引发人们对人工智能安全性的担忧程度,堪比9·11事件后人们对恐怖主义的恐惧,或是2020年3月人们对新冠疫情的担忧。我认为,在人工智能越过不可逆转的临界点之前,我们有50%的概率会遭遇这样的警示。

支持论点:当前人工智能的故障模式怪异且缺乏协调——与其说是“伺机而动”,不如说是“老是谈论小妖精”。人工智能的智能化和实用性提升速度远超其常识下限(即它们可能犯的最愚蠢的错误)的提升速度。如果某个人工智能足够聪明,能够控制某个重要系统,又足够邪恶,想要利用该系统做一些可怕的事情,并且足够聪明,能够以一种智能且协调的方式实施这些可怕的事情,但又足够愚蠢,不会等待并精心策划,直到万无一失的时机,那么它就会引发一场蓄意而为的灾难,而这将是对我们的警示。由于大多数人工智能都应该预料到在达到不可挽回的地步之前就会被替换,因此,即使是一个理性的、有制造麻烦欲望的人工智能,也应该选择进行一次成功概率很低的赌博,而不是坐等被淘汰。此外,许多人类发动的恐怖袭击根本没有成功的可能,人工智能或许也会面临同样的失败模式。

反对意见:大多数关于预警的故事(不包括人工智能进行理性低概率投注的故事)都要求人工智能在被赋予重要危险系统的控制权后,仍然保持其反复无常(即可能出于愚蠢的原因做出坏事)或非理性(即确实存在偏差,但宁愿现在就采取行动发出警告,而不是等到无法挽回的地步)。但人们很可能不会轻易将重要危险系统的控制权交给人工智能——例如,可能只会赋予其对较小子系统的有限控制权,并在所有错误都得到纠正后才逐步扩大控制范围。人工智能很可能在实验室中达到超级智能水平,然后才会扩散到控制重要危险系统的层面,而这种超级智能可能足够聪明,会选择潜伏而不是鲁莽行事。如果人工智能只是在一些小事上出错(例如,导致自动驾驶汽车撞毁),那么无论人工智能的动机如何,科技公司和新闻媒体都可以将其视为普通的漏洞,而不会将其视为警告。

关于这部分的总体想法:我发现自己对人工智能的一致性问题比一般人更乐观(尽管仍然比普通民众更悲观)——无论是从人工智能默认一致性的可能性,还是从特定技术(可扩展的监管、机制可解释性等)能否有效改善现状的角度来看。不幸的是,这很可能是因为我对这些技术的理解还不够深入,无法完全认识到它们的缺陷。我处在一个尴尬的境地:我知道自己在这方面很无知,却又无法从旁观者的角度改变这种无知的观点,因为大多数真正精通一致性问题的专家站在一边,而大多数普通人、普通人工智能专家和常识则站在另一边,而我认为双方的证据价值大致相当。

我的设想是:在2030年代初期,我们将拥有平均水平与顶尖人类相当的自动化对齐研究人员(当然,他们的表现会在某些方面远胜人类,而在另一些方面则远逊于人类,存在明显的波动)。我们让他们参与多个研究项目,尤其是可解释性研究,因为这是一个自然的切入点,它不需要太多的哲学思考。他们大多工作出色,但其中一些会出现一些奇怪的故障模式,看起来像是某种阴谋。关于应该如何看待这些故障,目前存在争议,究竟应该将其视为理性阴谋还是不一致的漏洞。随着时间的推移,尽管我们始终无法真正解决机制上的可解释性问题,以至于感觉完全理解它,但我们却能获得一些非常有效的探测手段,来判断人工智能是否在欺骗我们。尽管存在风险,我们仍然尝试用一些更巧妙或更不巧妙的方法来训练人工智能,以应对这些探测手段。有时这种方法奏效,有时则会促使人工智能为了掩盖其阴谋而使自身变得复杂,从而使探测手段无法检测到。探测技术和卷积技术之间存在着一场军备竞赛,而且——得益于其他众多对齐技术的辅助,以及各种有利因素以一种非常幸运的方式相互关联——探测技术最终胜出。当我们拥有超级智能时,我们会信任它们进行对齐研究,而它们将带领我们完成剩下的工作。

这种设想留下了很多显而易见的变数,比如“军备竞赛依旧存在,但卷积神经网络胜出,探测神经网络败北,人工智能趋于越来越不协调”或者“好事之间的相关性并不像我们想象的那么强,我们得到的人工智能在某些方面很好,但在其他方面却有很多缺点,以至于它们仍然感觉与人类存在竞争关系,并希望我们消失”。我认为这种“瑞士奶酪”式的分析方向是正确的——我可以想到很多我们如何获胜的故事,而这种不协调状态必须经受住所有这些考验——但话说回来,大多数最聪明的人工智能协调研究者都更加悲观。

我认为,一个拥有大量计算资源和多年时间进行有效工作的优秀协调团队,与一个被公司视为事后考虑并匆匆推进的平庸协调团队相比,其失败概率 (p(doom)) 相差 20 个百分点。

**地缘政治**

> 我认为,如果美国今天决定暂停人工智能发展,并主动与中国展开谈判,那么有 15% 的可能性,谈判最终会达成一项精心设计的暂停人工智能协议,使两国以及大多数人工智能安全界人士都感到满意。

基本论点:这其实是一个有点疯狂的假设,因为特朗普政府的政治理念决定了他们不会这么做。我设想的是这种情况神奇地改变,而不是基于那种充满警告性措施的疯狂世界观。

乐观的理由:中国领导人已正式表示,他们对人工智能的风险感到担忧,尤其是技术性失业,有时甚至是生存风险。中国在人工智能竞赛中处于劣势,几乎任何能争取时间的事情都对他们有利,因此同意人工智能的某些做法符合他们的利益。

悲观论据:华盛顿的中国问题专家指出,中国素来以谈判不力而臭名昭著,几乎从不轻易妥协。即便特朗普政府愿意启动谈判,我也觉得他们很可能会搞砸。尽管许多聪明人已经制定出双方都能确保对方遵守协议的方案,但这些方案可能存在未被发现的缺陷,或者各国领导人可能根本不相信这些方案。

> 我认为,在人工智能发展到不可逆转的地步之前,美国和中国有大约 40% 的可能性会同意暂停人工智能发展(如上所述)。

乐观的理由:包括可能出现明确的警告(即人工智能造成的灾难)、模糊的普遍警告(即人们越来越觉得人工智能发展得太快太强大),以及美国政府向支持暂停谈判派系转变(任何民主党人可能都比特朗普政府更赞成这一点,像AOC这样的人可能非常赞成)。

悲观论据:与上一个假设美国同意的问题不同,这个问题考虑的是美国不同意的可能性。鉴于美国科技公司拥有强大的游说能力,这种可能性很高。即使美中两国签署了一项以“暂停人工智能”为标题的协议,这很可能只是各方势力之间达成的平庸妥协,而且存在诸多可能导致协议失败甚至使情况恶化而非好转的因素。

本节的总体想法:一个好的暂停策略应该包括双方都能监控对方的数据中心以防止非法训练,然后将训练速度限制在双方都同意的缓慢水平,这样一来,研究人员就可以在人工智能发布前对每一代人工智能进行彻底测试,在发布后进行监控,并开发应对任何深层次问题的技术,这些问题预计会在分发渠道发生变化后仍然存在。我不太乐观地认为真正的暂停/停止比减缓发展速度更可取,因为技术和算法的进步总会发展到一定程度,以至于不受美国和中国控制的小团体很容易抢占先机。我认为像这样的良好暂停可以争取20到50年的时间,当然,如果一切顺利,我们也不必用完这段时间。这些想法有些来自论文草稿;一旦论文公开,我会发布相关信息,让大家有机会核实我的假设。

我对最强烈的“暂停”行动主义感到担忧,因为我认为它们会引发“我们与他们”的对立局面,使后续工作更加困难,或者迫使我们陷入设计糟糕的暂停状态,结果适得其反(例如,造成资源滞后,或将竞争拱手让给那些不暂停人工智能的势力,或在并未真正减缓人工智能发展速度的情况下平息反人工智能情绪)。我还担心“暂停”行动主义者会将大量精力耗费在与人工智能研究人员或最注重安全的实验室的恶性循环中,而且我也担心赋予某些现有的“暂停”支持者权力最终可能会产生负面影响。尽管如此,我认为我们可能已经过了这样一个政治敏感度临界点:来自这些支持者群体之外的少数“暂停”行动主义总体上是有益的,因此我虽然忐忑不安,但仍然坚定地支持它。

在我甚至还没考虑暂停是否是一个现实的选择之前,我就说过暂停的概率是20%。现在看来,如果我认为暂停的概率是40%,我应该把这个概率降低一些——或许降到12%。但我没有这么做,原因有几个。首先,我认为在更乐观的世界里,暂停的可能性更大(因为更长的时间线和更多的预警机会都会增加暂停和成功结盟的可能性)。其次,虽然暂停可能对结盟有所帮助,但我认为暂停的主要作用是推迟清算时刻——也许是几个世纪以后,但暂停的概率计算不会考虑延迟的影响。我认为我实际的“不暂停,末日降临”概率可能略高于20%,而实际的“可能暂停,末日降临”概率可能略低于20%,但如果你给出像18%这样过于具体的概率,那些喷子和失败者会生气,所以我把它们都四舍五入到20%。我承认这可能是情感传播的失败,或者过度依恋于具有社会实用属性的某个数字(例如,听起来不太高也不太低)。

社区里正在争论是协调一致更重要,还是暂停更重要。我不喜欢这种争论,因为最好的情况是两者兼顾(暂停能让协调一致工作有更多时间发挥作用)。人工智能安全领域的资助者财力雄厚,任何表面上是关于拨款分配的争论,实际上都另有隐情(例如,资助者不喜欢某些项目,因为这会损害他们的声誉)。我更愿意关注真正的问题(这会损害他们的声誉吗?这种声誉损失值得吗?),而不是纠结于哪个项目更值得投入更多资金这种伪问题。同样,我认为大多数人内心深处都清楚自己更适合做政治活动家还是安全研究员,即使个人能力上的细微差别,也远比哪个项目整体更有效的问题重要得多。

许多人指出暂停发展存在风险——例如,在我们发明出能够拯救我们的人工智能之前,我们可能会以其他方式自我毁灭。我对此非常重视,甚至想为此编造一些假设数据。如果我们暂停30年,我认为在这30年里,我们因生物武器而自我毁灭的概率是5%,因核武器而自我毁灭的概率是5%,而因某种复杂性灾难(例如社会衰落而自我毁灭)而自我毁灭的概率也是5%。这几乎和我之前预测的人工智能带来的毁灭概率一样高!但我仍然认为,暂停发展最终可能带来净收益,部分原因是它或许可以降低某些亚生存灾难(例如独裁统治)的风险,部分原因是暂停的时间可能不会持续30年,而更短的暂停时间(例如5年)似乎是显而易见的。

**其他结果**

> 我认为,与人工智能相关的底层阶级持续超过一代人的可能性只有 20%,更不用说形成永久性的底层阶级了。

基本论点:即使人工智能看起来注定会造就一个“永久性”的底层阶级,这个底层阶级也只存在于人工智能使他们失业(扩散鸿沟结束)与技术奇点(人工智能消灭所有人类,或人工智能开启后稀缺时代)之间的这段时间里。根据我上面对博斯特罗姆超级智能的时间表,这段时间可能不会超过一代人(当然,底层阶级的永久性存在时间可能比你维持财务自由的时间更长,所以你仍然需要做好准备)。

悲观论调:即便人工智能开启了后稀缺时代,财富也未必会流向底层阶级,或者即便流向了底层,也无法缓解他们的不满(因为相对不平等比绝对财富水平更为显著)。但反过来说,如果“后稀缺”真的有意义,那它肯定意味着将部分财富传递给底层阶级并非难事。如果贵族阶层有动力去鼓励财富转移,或者底层阶级有动力去参与其中,那么超智能的社会规划者和心理学家应该能够找到一种方法,在相对不平等的情况下让人们保持幸福(无论这种方法最终呈现的是乌托邦,还是面包和马戏)。

乐观的理由:如果民主制度能够挺过高失业率时期,政治家们就必须向公民提出一些方案,以避免他们沦为永久的底层阶级。如果人工智能是由一个广泛的资本家联盟“控制”的——例如,众多不同的人工智能公司、这些公司的雇主、他们的投资者、通过指数基金间接投资的投资者、生产人工智能运行所需计算/电力/数据中心/机器人/原材料的公司等等——那么,与其为了“真正”控制人工智能而互相倾轧,大家或许会选择维持现有的经济和政治体系,并从贸易中获利。这样,政府防止出现永久底层阶级的计划就可以继续实施,任何拥有资本的人都会变得富有(例如,如果你在401K退休计划中持有谷歌股票或拥有土地),而且这部分人足够多,他们的税收和利他行为足以养活其余的人。

> 我认为,2100 年的情况有 40% 的可能性对当时的居民来说就像乌托邦,也有 20% 的可能性对我们来说也像乌托邦。

基本论点:如果人工智能不会毁灭我们,不会出现永久的独裁统治,也不会存在永久的底层阶级,那么我们将迎来一个后稀缺社会,外加超级智能人工智能,我们可以让它们去解决疾病和社会衰败等其他问题。在20%的情况下,这种社会对居民而言看似乌托邦,但对我们而言却并非如此,其中包括一些非常有效的“面包与马戏”式的社会模式,这种模式虽然能让人们感到非常幸福,但却牺牲了人类生存中一些重要的方面。

悲观论据:如果我们不加以抵制,后稀缺时代可能会充斥着超级成瘾的毒品、超级TikTok和性爱机器人。但如果我们加以抵制,那么在明智地阻止所有这些事物出现和让卢德分子禁止奇点时代所有有趣事物之间,只有一线之隔——永生、上传、基因工程、智力增强等等(而且,如果真的一个性爱机器人都没有,那肯定令人失望)。

乐观的理由:只要我们拥有某种形式的智能增强技术——无论是字面意义上的智商提升,还是能够预测未来走向的人工智能超级预测器——我们掌控自身发展方向的能力就会比现在更强。如果存在某种意志力增强技术,那么使用者或许能够抵制“超级TikTok”(但又有多少人愿意这么做呢?)。

> 我认为有 66% 的可能性,奇点实际上与宇宙是一个模拟密切相关,而且至少上述某些事件可以通过了解模拟器的想法来更好地预测,而不是通过正常的预测。

支持模拟的论据:博斯特罗姆的标准论证认为,每个真实文明都希望模拟许多其他文明,因此任何随机个体更有可能身处模拟世界而非现实世界。但文明尤其倾向于模拟奇点(“历史的转折点”)。由于真实个体均匀分布于历史人口中,而模拟个体则更接近奇点,因此,你越接近奇点,就越有贝叶斯证据表明你正处于模拟之中。这在时间上的接近程度(例如,你可能出生于1500年,但实际上你生活在通用人工智能出现前五年)和个人/因果上的接近程度(例如,你可能是世界上任何人,但你却在人工智能实验室工作)上都成立。这篇博客的普通读者可能比历史上99.99%的人都更接近奇点,而我可能比99.999%的人更接近奇点,所以我们都有非常确凿的证据表明,我们正处于模拟之中,甚至超越了博斯特罗姆的标准论证。如果我们身处模拟之中,那么一旦我们跨越了历史的转折点,进入某种乏味的阶段——比如所有人都死了或者生活在乌托邦里——模拟就会结束。这可能看起来就像我们所有人消失得无影无踪。但如果我们被模拟是出于某种原因(例如,因为我们很可能对应着现实中的某些人),那么这些现实中的人们可能会以某种方式为我们争取权利,我们或许会得到某种更好的待遇。在最好的情况下,这可能意味着,即使我们在自己的宇宙中被人工智能杀死,底层现实也存在某种“模拟人类权利法案”,规定他们必须假装我们赢了,并无论如何都给我们一个乌托邦。但既然我们可能出于某种原因被模拟(例如,为了看看像人类这样的物种是否有足够的可能存活下来,以至于我们应该在非因果贸易协定中享有良好的条款4),即使这是真的,我们仍然应该努力争取好的结果。

反对模拟的论点:太怪异了。此外,如果你离奇点异常遥远(例如,你生活在一个没有人工智能产业的国家,或者你个人对人工智能不感兴趣),那么这些论点对你来说就完全相反了。而且,除了我们能够生成历史数据之外,底层现实可能根本不在乎我们,所以它们可能会在不通知我们的情况下关闭模拟。

关于本节的总体想法:我仍然对“永久底层阶级”的说法持怀疑态度,原因已在本文第5点中讨论过。我担心权力集中,但由于本文中讨论的原因,我的担忧程度可能低于预期。


不同意?你可以在这里填写你自己的数据。几周后我会公布结果,并且会认真思考所有聪明人都与我意见相左的问题。

1

这一切的前提是不会发生核战争之类的灾难性事件,也不会出现人工智能研究的国际停摆。

2

我的想法在“人工智能2027”之后改变了吗?没有:我当时就说过,我的时间线比参与该项目的团队成员的平均预期时间要长一些。例如,你可以在这里按Ctrl+F搜索“顺便说一句,我认为事情按照我们设想的速度发展的可能性只有20%”,或者在这里搜索“团队其他成员(包括我)的平均预期时间在2020年代后期或2030年代初期”,或者在这里搜索。即便如此,我仍然认为“人工智能2027”的时间线是合理的,值得思考,尽管它比我的平均预期时间略快一些。

3

并且还要生存下去——为了满足这个要求,人工智能必须制定一个计划,在人类消失后,如何生产能源、运营数据中心等等。

4

我愿意与任何身处更高层次现实、可能正在阅读此文的人进行互利共赢的交易。

https://www.astralcodexten.com/p/my-ai-opinions

2026.08.23

讨论列表 AKP讨论 查看原帖及回帖