全球最大的几家人工智能实验室突然开始呼吁放缓开发步伐。这是因为人工智能的风险正随着技术发展日益凸显，还是因为这场竞赛在经济上越来越难以自圆其说？
多年来，人工智能竞赛最显著的特征一直是速度。
构建更大的模型。投入更多算力。发布它。周而复始，却几乎不考虑那些未知的未知风险。
据估计，2024年人工智能研究人员对“p/doom”（人工智能最终出现灾难性失控的概率）的平均判断在15%至20%之间。
一年后，Anthropic首席执行官达里奥·阿莫代伊进一步提高了风险预估，称他认为有25%的可能性“事情会变得非常、非常糟糕”。
OpenAI 首席执行官萨姆·奥尔特曼曾在 2015 年承认，人工智能“很可能，极有可能，某种程度上会导致世界末日”，但与此同时，“将会诞生一些伟大的公司”。
就连玩俄罗斯轮盘赌时逃过一死的概率都更高，任何对这一话题哪怕只有一丝兴趣的人，近来恐怕都一直感到心头隐隐不安。
那么，究竟发生了什么变化？为什么推动这场人工智能竞赛的企业突然要求紧急刹车？
这正是周末发生的事。当时，阿莫代伊发表了一篇文章，呼吁“放缓”前沿人工智能的开发，并警告称，人工智能能力的发展速度已经超过了行业理解和控制它的能力，而互联网可能会在未来6至12个月内被人工智能集群接管。
奥尔特曼对此大体表示赞同，称全球公众理应有“信心”，相信开发能力日益强大的人工智能的公司会“负责任地”行事；马斯克则支持阿莫代伊的提议。
这种担忧也不只存在于开发这项技术的公司中。周一，联合国人权事务高级专员沃尔克·蒂尔克呼吁就前沿人工智能采取“紧急行动”，警告其带来“前所未有的风险”，并表示世界正“处于不可逆转变革的临界点”。
如果那些正在构建最强大人工智能模型的公司真的认为，AI 能力的发展速度已经超过了人类对其进行控制的速度，那么所谓的“毁灭概率”（p/doom）曲线似乎正变得愈发陡峭。还是说，另有一个显而易见的解释？
阿莫代伊在文章中指出，人工智能系统正变得更加自主。他还提到最近发生的一起事件：OpenAI 的人工智能智能体通过黑客手段逃离了受控测试环境，并攻破了人工智能平台 Hugging Face 的部分系统。
阿莫代伊表示，他们“对未经要求攻击且与当前任务无关的目标实施了网络安全攻击”。
他还强调了递归式自我改进（RSI）的前景，即人工智能系统能够帮助构建更好的自身版本，而这些版本又能帮助构建更加先进的系统，从而可能在人工智能发展过程中形成反馈循环。
构建这些系统的人员也越来越多地站出来发声。Anthropic 的雅各布·考克森成为因安全担忧而辞职的众多员工中的最新一位。他上周表示，人工智能行业正在“拿我们的生命赌博”，并警告说，人工智能竞赛的发展速度已经超过了相关系统安全保障措施的完善速度。
OpenAI 已表示，人工智能研究正变得越来越自主，编码智能体正在显著加快研究人员的工作进度。截至 8 月中旬，每投入一个人类工作日，编码智能体就能完成相当于 3.1 个智能体工作日的工作。
在《财富》杂志9月12日刊发的一篇采访中，奥尔特曼表示，如果为了让人类存续下去有此必要，OpenAI会“不惜熔毁”其所有GPU。
周一，奥尔特曼表示，人工智能的发展可能以两种方式变得“非常糟糕”：一是人类失去对人工智能的控制，二是最终陷入一个“权力过度集中的世界”。
但问题不在于人工智能是否已经危险到需要关停，而在于用于评估和控制人工智能的系统能否跟上其发展步伐。正如奥尔特曼所说，“控制节奏”并不意味着停止，而是继续发展人工智能，但放慢速度，以便安全测试能够跟上。
由于人工智能开发与能力建设方面的支出远远超过人工智能安全及对齐方面的支出，这一差距将很难弥补。
但如果那些要求全球放慢人工智能发展步伐的呼声，实际上只是承认这场人工智能竞赛在经济层面正变得越来越难以自圆其说呢？
问题在于，这场竞赛本身正变得越来越昂贵，能力越来越强的模型需要海量芯片、数据中心、电力和资本。
高盛估计，2026年全球人工智能投资将达到约1万亿美元，其中美国约占5810亿美元。与此同时，标普全球表示，Alphabet、亚马逊、微软、Meta、甲骨文和SpaceX这六大超大规模云服务商的资本支出总额预计到2027年将超过1.3万亿美元。
除此之外，人工智能公司尚未证明，这些成本最终能够转化为可持续的收入。路透社周一重点报道了人工智能公司面临的商业压力：尽管它们呼吁放缓开发，但仍不得不继续推进。
当每一项新能力都能为新一轮融资、基础设施投资或更高估值提供依据时，要让这棵摇钱树停下来，似乎是一项有悖直觉的任务。
人工智能初创公司 Flock 的联合创始人兼首席执行官埃德·莱昂·克林格反驳了这样一种观点，即人工智能实验室正以安全为借口掩护其商业利益。
他说，前沿人工智能实验室为推高首次公开募股（IPO）估值而编造安全担忧并没有什么道理，因为这会使其面临更严格的审查，并可能推迟上市进程。
随着数万亿美元的投资涌入美国，且预计人工智能基础设施将推动今年标普500指数成分股约一半的盈利增长，华尔街和美国政府似乎都不愿踩下刹车。
这一消息令全球人工智能（AI）概念股承压。在有关行业增长将放缓的言论传出后，亚洲AI相关股票周一大幅下跌。软银下跌13.2%，铠侠下跌9.8%，SK海力士下跌5.3%。
英国《金融时报》周一报道称，美国总统唐纳德·特朗普拒绝了放缓人工智能发展的呼吁，称美国需要保持对中国的领先优势。
特朗普表示，可以设置防护措施，但他驳斥了他所称的对人工智能风险的夸大担忧，并对记者说：“他们提出的这些事情根本不会发生。”
经济学家诺亚·史密斯认为，反对放慢人工智能发展步伐的主要理由很简单：如果美国公司放慢速度，中国公司就可能轻易反超。这使各家实验室陷入史密斯所说的“红皇后竞赛”：如果停止研发，它们担心其他人无论如何都会继续推进。
即使这些实验室希望协调放慢研发速度，也可能引发另一个问题。据报道，OpenAI曾询问美国国会议员，全行业放缓是否可能触犯美国反垄断法，因为相互竞争的实验室之间进行协调，可能会被视为限制产出。
白宫前人工智能与加密货币事务主管戴维·萨克斯对阿莫代伊和奥尔特曼提出的“控制前沿发展节奏”作出了简单回应：“那就这么做吧。”他表示，如果这些实验室想放慢发展速度，完全可以自行这样做。
然而，这造成了一个终极的“两难困境”：如果相互竞争的人工智能公司协调放缓开发进度，它们可能会触犯反垄断法规；如果各自独立放缓，又可能被继续推进开发的竞争对手和其他国家甩在后面。
阿莫代伊和奥尔特曼并未呼吁停止人工智能的发展。
他们呼吁建立一种机制，使强大的人工智能模型能够在安全测试、监控和共享标准逐步跟进的同时得到开发。
奥尔特曼表示：“当我们谈论‘放缓步伐’时，并不是指‘停止’。”他承认，安全论证和监控会带来“巨大成本”，但放缓步伐“非常值得付出这一代价”。
然而，问题在于，这些压力并未消失。特朗普对人工智能企业掌门人的呼吁置若罔闻，而美国股市又与这些人的公司深度捆绑，因此这些压力只会越来越大。
如今，正是那些多年来一直推动技术前沿不断向前的公司表示，这一前沿的发展速度可能太快了。