AI末日论：科技预测的简短史

回溯三十年前的1995年,互联网刚刚兴起,各种关于这一新生事物的未来与影响的观点层出不穷，有人说它将大幅提升全球生产力,也有人说它不会比传真机更有用。

借助三十年后的后见之明,我们可以说互联网之争已有定论。正如德意志银行的Adrian Cox在本周发布的一份长篇报告中所写,Bob Metcalfe当年的所作所为需要相当大的勇气。

作为以太网的共同发明人及3Com的创始，1995年他在一篇文章中错误地预测互联网将“壮观地超新星式爆发”并在1996年崩溃。随后他在1997年的一次会议上将那篇文章撕碎，放入搅拌机打成浆液并喝下，以此来兑现自己的话。

如今没有人再为互联网担忧,而最新的科技预言则不亚于一场AI末日论。多位科技领袖在周末纷纷发出警告,称若不加以控制将带来灾难性风险,但具体风险却语焉不详。

然而历史表明,即便是各个时代最杰出的头脑,在预测科技走向方面也鲜有准确,更遑论预判其在现实世界中的影响。

眼下的赌注不可谓不高，不仅关乎生命本身的未来,更关乎短期内一场历史性繁荣的走向,而这场繁荣能否持续,取决于炒作能否转化为现实。

正如Adrian Cox在其最新报告（完整报告可在此处查看）中所写，自近四年前ChatGPT推出以来，人们对人工智能的担忧一波接一波地涌现。谷歌趋势数据显示，今年2月，“SaaSpocalypse”（即软件即服务将被AI代理取代的担忧）的搜索量激增，随后在5月“就业末日”的搜索量也大幅上升。但最近几天，这些话题已被“AI灭绝”的搜索量完全盖过。

但退一步来看，根据谷歌趋势数据，所有这些话题都远远落后于“AI泡沫”，而“AI泡沫”又落后于“深度伪造”，后者又排在“AI学生”之后，整体而言则处于“AI风险”之下。而其中最大的是极为具体且紧迫的“网络安全”，几乎所有这些关键词在今年都出现了显著增长。

“预测非常困难，尤其是关于未来的时候。”这句话常被归于尼尔斯·玻尔，也有人认为出自约吉·贝拉。

想知道明天会发生什么,是一种深入骨髓的本能渴望。

四千年来,人们一直通过献祭羊和鸡,从内脏中解读未来。全世界估计有五分之一的人表示相信占星术,并会查看自己的星座运势。

但预测未来很难。对于AI而言,问题不仅在于它未来能做什么,还在于它何时能做到。超大规模云服务商未来五年逾5万亿美元的投入,能否在他们购买的先进半导体芯片被淘汰之前收回成本。此外还涉及AI被采用的速度与深度。资产价格则是更加不确定的衍生变量,随着每一次预期的变化像蛇尾一样剧烈摆动。

美国总统特朗普与中国在驳斥最新担忧为危言耸听这一点上,立场出奇一致,尽管特朗普补充表示,美国需要在AI领域保持对中国的领先地位。

知者不言，言者不知---老子
纵观历史,任何投资者都会感到不安。大多数预测都是错误的，赛马比赛中最被看好的马匹输掉的比赛高达70%。英国运河和铁路、美国电信与光纤建设热潮所铺设的基础设施，往往需要十年甚至更长时间才能迎来需求的匹配，而许多投资者却再也未能收回本金。

技术预测的记录尤为参差不齐,因为实验室的二值秩序与现实世界的混乱现实相互碰撞。著名的例子不胜枚举,从IBM董事长托马斯·沃森在1943年对计算机需求的低估("我认为全球市场或许只需要五台计算机"),到马斯克自2013年以来对自动驾驶汽车即将大规模普及的反复高估(当时他说，"我们应该能在三年内实现90%的行驶里程由自动驾驶完成")。

技术专家也难免犯类别错误,将一份工作中最显而易见、最易自动化的部分误认为工作本身。例如,放射科医生是"工作末日论"者最爱引用的案例,但他们的工作远不止于查看影像和做出非此即彼的诊断。他们的价值很大程度上在于解读、判断、沟通和临床决策。

归根结底,我们对未来的展望,与其说是一扇窗,不如说是一面镜子,映照出我们自己的希望与恐惧。

问题在于,事后来看,真正发生的事情似乎显而易见,但我们却似乎从未从中吸取教训。

当前辩论的大致核心
当前辩论集中体现了一场完美风暴，极高风险的议题、有限的透明度,以及本质上无法预知的结果。

是什么引发了当前这波担忧的浪潮?

这场争论的导火索，是一家头部前沿实验室的研究员以安全隐患为由辞职；AI智能体在数起高关注度的安全入侵事件中疑似相互协作；以及实验室暗示该技术正逼近“递归自我改进”，即AI改进AI。

关于存亡的辩论是新鲜事吗?

其实并不新鲜，今年7月,顶尖经济学家和学者警告称,我们必须"立即行动",引导AI度过一场潜在的"经济变革，其规模超过工业革命，却在极短的时间内完成"。这与三年前AI领袖们发出的更为不祥的声明相呼应,他们当时呼吁采取行动,以降低"灭绝风险"。

"末日论者"与"繁荣论者"之间的拉锯战,在各大关键前沿实验室的发展历程中扮演了举足轻重的角色。硅谷圈内人有时会提到自己的"p(doom)"评级,代表他们估计AI引发存亡灾难的概率百分比。

灭绝情景是什么样的?

包括马斯克、"AI教父"杰弗里·辛顿和哲学家尼克·博斯特罗姆在内的专家们已经就此发出警告超过十年了。在博斯特罗姆著名的“回形针最大化者”设想中，一个超级智能的人工智能在制造回形针的过程中耗尽了钢铁资源，于是为了完成任务而单方面地消灭人类。人们有时担心的是那些能够访问代码、互联网以及人类思维知识的人工智能，从而操控人类，而当前的AI模型确实具备这些能力。

为什么这次传播得如此之快?

原因之一是它出现在科技反弹浪潮之中,尤其是在美国,在11月美国中期选举前夕,对AI的担忧已成为罕见的两党共识议题。民众对数据中心建设的本地化担忧已成为选民的集结点,而对长期就业的模糊恐惧却未能做到这一点。包括参议员尼·桑德斯在内的政界人士已着手提出涵盖范围广泛的立法。

企业为继续推进AI研究提出了哪些论点?
1.如果我们不做,别人也会做。
2.潜在收益大于风险.他们认为,AI或许能攻克癌症,创造新的就业机会,甚至彻底消除工作的必要性。
3.好的AI是应对坏的AI的答案。它应当构建防御机制,抵御失控AI和AI滥用,并解决AI巨大的能源和水资源消耗等问题。

批评者怎么说?
AI的危险不在于它太聪明,而在于它太局限。批评者说,它的思维方式与人类不同,人们不应将其拟人化,并补充说它是存在缺陷的概率性代码,无法可靠地执行指令。长期批评者加里·马库斯主张,在能够证明其安全且受到妥善管控之前,应将其召回。

AI领袖们是在为自己的生意辩护。批评者说,随着潜在IPO临近,开源模型的挑战日益上升,以及通用人工智能(AGI)的进展受到质疑,少数几家公司可能会从暂停或有助于巩固其领先地位的立法中获益。末日论调转移了人们对深度伪造、版权侵权和网络安全漏洞等现实问题的注意力。

灭绝情景被过度渲染。批评者说,互联网是一个多元化的平台,所谓AI以某种方式将其关闭的说法纯属幻想。批评者说,AI目前没有,将来也不可能实际上持续秘密获取军事或危险生物技术资源,也无法大规模影响(极度不确定的)人类大脑。人类将在必要时使用受控AI及其他工具,例如紧急开关,来抵御攻击。另一位"AI教父"杨立昆表示,真正的风险在于权力集中。

百年科技预测的成与败
我们不得不佩服那些敢于大胆预测的人,即便他们的预测并不总是准确。模糊的预测相对容易,而在特定时间范围内做出具体预测则难得多.

难怪高管们总被谨慎的公关团队叮嘱,要避免回答假设性问题,或给出实现目标的具体时间节点.

科学家尼古拉·特斯拉，1926年：“当无线技术得到完美应用时,我们将能够立即与彼此通信，无论距离多远,这些设备将简单得惊人,一个人可以把它放在背心口袋里”。他说对了，尽管在如何实现或何时实现上不够精确。

物理学家阿尔伯特·爱因斯坦，1934年：“没有任何迹象表明[核能]将可以被获取。那将意味着原子必须被随心所欲地击碎。”不到十年后的1942年，芝加哥大学的一个团队创造了第一个持续链式反应，这是核反应堆的前身。

未来学家雷·库兹韦尔，1999年：“到2029年，计算机将拥有与人类相当的智能。”这一预言当时遭到嘲笑,但他的许多预测都已成真,背后的驱动力正是他所称的"加速回报定律"。他近40年前关于本十年末将实现通用人工智能的预测,与当前的"旧金山共识"惊人地接近。

YouTube首席技术官兼联合创始人陈士骏，2005年：“我想看的视频其实没有那么多。”尽管他有这样的顾虑，YouTube还是在一年后被谷歌（现为Alphabet）以16.5亿美元收购。该部门在最近一个季度创造了超过110亿美元的广告收入。

微软首席执行官史蒂夫·鲍尔默，2007年：“iPhone绝无可能获得任何显著的市场份额。”但你现在可能正用它阅读这篇文章，而自2007年发布以来，iPhone销量已超过30亿部。

“AI教父”杰弗里·辛顿，2016年：“人们现在就应该停止培养放射科医生。很明显，五年内深度学习将比放射科医生做得更好，也许是10年。”事实上，过去10年里放射科医生的数量增加了约10%，部分原因是AI的局限性，部分原因是人口老龄化和更可负担的医疗服务带来的需求增长。辛顿已经收回了他的言论，人类与AI正在协同工作。

OpenAI首席执行官萨姆·奥尔特曼，2025年：“我很容易想象这样一个世界，在不久的将来，当今经济中30%到40%的任务将由AI完成。”他在5月因AI引发的强烈抵制而修正了这一观点，称他和他的团队在技术预测上“大致正确”，但在经济和社会影响上“相当错误”。他说“很乐意在这件事上承认自己错了。"

为什么预测未来如此困难?
每当我们轻而易举地解释过去时,未来不可预测这一观点便受到了动摇---丹尼尔·卡尼曼

1.混沌理论:将复杂系统当作简单线性系统来处理。
交通、经济和社会趋势等系统处于微妙的平衡之中,对初始条件极为敏感。蝴蝶效应意味着一个微小的、未曾预见的变量,可能导致截然不同的结果。只需看看市场隐含的美联储利率预测那段坎坷的历史便可知晓，从当前趋势进行外推,结果总是出错。

以自动驾驶汽车为例。事实证明,要让这项技术真正落地,远不止把技术本身搞定那么简单。

技术障碍与边缘场景：单靠堆砌更多数据和算力并不够。现实中存在无穷无尽、难以预测的事件,比如阳光眩光、骑手逆行于自行车道、有人穿着动物服装,或是带有路怒情绪的手势动作。

监管迷宫:自动驾驶乐观派已经碰壁于围绕责任认定、安全认证以及道德难题的法律与伦理争论。例如所谓的"电车难题"，为了躲避撞上一名受害者而不得不撞向另一名。监管推进本就是一项慢车道活动。

社会与心理障碍:备受关注的事故和安全顾虑拖慢了公众接受的步伐，人们对机器人的要求远高于对血肉之躯的驾驶员。或许在一个所有车辆都是自动驾驶的世界里反而更容易应对,但在两者混杂的"混乱过渡期",算法要应对的挑战则要难得多。

2.AI的未来最终将更多地取决于企业工作流程整合的平淡挑战，毕竟企业才是买单方，而非又一个能力小幅提升的新模型的发布。

认知偏差，大脑运作方式中存在的缺陷
对指数级变化的线性思维：我们在直觉上很难理解指数级变化与线性变化有多大的不同。正如沃顿商学院教授Ethan Mollick所说,"处于指数曲线上意味着在固定时间窗口内,每一次变化都比上一次更大。这就是为什么AI总让人感觉在不断跃进，尽管在图表上它是一条曲线,但我们却将能力的持续翻倍体验为一系列冲击。" 他表示,这种用线性方式追踪指数级变化的认知倾向,有助于解释AI市场的大幅波动。

乐观偏见与规划谬误:低估成本,高估收益。例如,赛德商学院研究的3000多个大型项目中,只有四分之一在预算范围内完成,只有2.8%做到了不超预算且按时完工,只有0.2%做到了不超预算、按时完工且达到预期收益。研究人员在2019年的报告中指出,大型基础设施项目"启动太容易,叫停太困难"。近期数据中心建设热潮的结果如何,还有待观察。

确认偏见:偏向于支持既有观点的信息。多年来,传统汽车制造商以高成本和续航里程有限为由,对电动汽车不屑一顾,却忽视了电池技术的快速进步很快就会改变这一局面。

锚定效应:过度依赖早期信息。iPhone发布时,微软的鲍尔默在对其嗤之以鼻,认为它是"全球最贵的手机,而且对商务用户没有吸引力,因为没有键盘,根本不适合收发邮件"。他后来承认,自己当时没有意识到移动运营商的补贴会让它变得触手可及。更深层的问题在于,他完全没看懂这是一种全新的商业模式。

3. 信息有限:看不见的困境
不只是未来难以预知,就连现在也是如此。反馈机制往往存在滞后,使人难以区分因果关系与相关关系,也难以辨别哪些因素相关,哪些无关。

隔离关键因素几乎是不可能的。即便科学方法和对照实验已发展多年,我们其实并没有比中美洲人进步多少，他们当年摸索出了处理玉米的方法,从而避免了一种叫做糙皮病的长期消耗性疾病。问题在于,他们无法从整套流程中单独找出真正有效的部分，即将玉米浸泡在水和灰烬调成的碱性溶液中，而将其与其他无效的步骤区分开来,比如在烹饪前对着玉米吹气。

David Oks在这个延迟反馈机制的例子与AI模型“过度拟合”的倾向之间做了一个有趣的类比，后者会从粗糙且稀疏的数据中过度外推以填补空白。如果模型生成了一个复杂的输出，并只因此获得一个单一的奖励信号，那么理性的做法就是复现它的所有特征，包括那些偶然出现的特征，比如AI标志性的口头禅。

没有人愿意冒着因噎废食的风险。阿根廷总统米莱曾公开谈及自己的迷信坚持，宁愿待在家里穿着幸运夹克,也不愿亲赴球场观看本国球队在足球世界杯上的现场比赛。

4.激励机制偏向更极端的立场
AI不是魔法,不是万能药,也不是慈善事业,而是一个商业产业。

大多数参与者都有动机去放大这件事的重要性。创始人需要信念,投资者需要势头,现有企业需要权威感,顾问需要紧迫感,政策制定者需要存在感,高管需要叙事框架,记者需要戏剧性冲突。这并不是对个人或组织的批评,也不是对AI可能带来的革命性影响的否定。

这一挑战因社交媒体驱动的经济模式而被进一步放大。社交平台偏爱新奇、负面、道德情感强烈且易于传播的内容。例如,纽约大学的一项研究发现,在政治推文中,每多一个道德情感词汇,转发率就会提高约20%。麻省理工学院的另一项研究发现,虚假新闻被转发的可能性比真实新闻高70%,且达到1500人传播门槛的速度快六倍。

这意味着温和的观点往往传播不足,而极端的观点则更容易获得回报。例如,对AI经济未来规模给出令人难以置信的精确数字,或是充斥着煽情语言的末日悲观情景,都将持续吸引比客观评估更多的关注。

是什么让人工智能与众不同，并给未来带来希望
由于硅谷等地的远见者与世界其他地方之间存在脱节,技术可能容易产生错误的判断。

愤世嫉俗者可能会说,在某一领域拥有超凡知识和技能的人,反而比大多数人更容易高估自己在其他领域的能力，这就是所谓的"邓宁-克鲁格效应"。这其中也包括在华尔街交易大厅、伦敦郊区的办公用品批发商,或孟买某家汽车制造商中落地实施AI的现实挑战。

还有一个由来已久的规律，人们往往能准确预判哪些工作会消失,却总是猜错人类届时会转而做什么。

《华盛顿邮报》1982年在一次文职人员会议上报道,计算机"可能演变成怪物,损害文职人员的身心健康，甚至夺走他们的工作"。然而计算机后来成为了知识工作者的核心工具。

《华盛顿邮报》1983年报道,袖珍计算器"已成为批评者的靶子,他们担心在课堂上使用计算器会让一代又一代的孩子依赖电池而非大脑"。结果是,人们对于哪些计算需要亲力亲为的预期发生了改变。

2009年，Forrester Research发现,约半数受访企业"将安全和隐私顾虑列为不使用云计算的首要原因"。而如今,企业已将大量关键基础设施托付给云端。

“我们高估了科技在短期内的影响，却低估了它在长期内的效应。”斯坦福大学计算机科学家罗伊·阿马拉如是说。

但这一次可能真的不同，AI成为了合作伙伴，首先从（确定性的）预测式AI开始。它无疑正在帮助气象预报员筛选难以想象的海量数据。据说现在的四天预报准确度已经相当于上世纪90年代的一天预报。

回报正在递减。标准物理模型的预测极限大约是八天，而深度学习AI模型只把这个极限延长了一天，达到九天。区别在于，它们生成最先进预报的速度提高了100000倍，能效提高了10000倍，这意味着它们可以在笔记本电脑上完成，而不需要超级计算机。

而且就目前而言，你对AI影响的预测，其有效性并不亚于一位身处硅谷那个非常特殊世界的AI专家。AI的未来不会在硅谷创造，而会在普通大众的日常生活中成形。