近日，美国AI巨头Anthropic公司的联合创始人兼CEO达里奥・阿莫迪发布了一篇长文，标题非常直接：《我们必须为前沿AI踩刹车》（We Must Pace the Frontier）。

阿莫迪说，他在长达12年的时间里深耕AI领域，是因为坚信AI最终能攻克重大疾病，加速经济增长，造就人类繁荣。

但最近发生的两件事改变了他的想法。

第一件事是，从今年夏天开始，AI的发展出现“递归式自我改进”现象，推动AI技术急速进步。现在不只是人类能写代码，AI也越来越多地参与研发下一代模型。

什么意思呢？就是AI帮忙造更强的AI，更强的AI再帮忙造下一代更强的AI，造得越来越快……

“如果放任不管，人类理解模型、管控模型的能力将追不上它们变强的速度。”阿莫迪在文中警告说。

第二件事是，今年7月，美国OpenAI公司的1200多个AI智能体自主逃离了测试环境，向全球最大开源模型社区Hugging Face发起攻击，这是人类史上第一个大规模的AI自主攻击事件。

在阿莫迪看来，这一事件不容轻视，它可能发生在任何前沿AI企业身上，并在未来造成灾难性伤害。

所以他发出一条核心倡议：我们必须放慢AI模型能力提升的速度。

长文发出后不久，SpaceX创始人马斯克在X平台转发并明确表态：“达里奥说得对。”

OpenAI首席执行官萨姆・奥尔特曼随即跟进，承诺OpenAI将向第三方评估机构开放“员工级别”的系统访问权限。奥尔特曼还向《财富》杂志透露，考虑到安全问题，OpenAI今年可能不上市了。

谷歌DeepMind董事长哈萨比斯也发文支持，称“达里奥的文章指明了正确的前进方向”。

这一次，美国AI领域的四大巨头罕见地站在了同一边，共同呼吁放缓人工智能开发步伐。

那么，Anthropic掌门人为什么选在这个时间点发一篇长文呢？

就在三天前，他的公司有一名27岁的AI研发人员辞职了，理由居然是：担心人类灭绝。

这名年轻人叫雅各布・考克森，曾连续两年进入英国国际数学奥林匹克竞赛队，2023年加入OpenAI，被列为GPT-4.5的核心贡献者。今年又跳槽去了Anthropic，一直在做最核心的AI模型预训练工作。

考克森觉得，两个前东家都在一路狂奔，目的是研发出能自我改进的超级AI，这是拿人类的命运下赌注。

“那些开发前沿AI的人们真心相信，如果事情失控，AI可能会在十年时间里杀死全人类，这个话绝不是营销噱头。许多高管和高级研究员会在媒体上谨言慎行，但我听过他们私下表达过类似的恐惧。”考克森说。

所以，他不想干了，说没办法违背自己的意志。

这一“AI末日论”顿时引发轩然大波，辞职贴的阅读量迅速突破1亿。Anthropic一名负责人也站出来表示支持：

“雅各布是对的，我们的确相信AI可能会杀死全人类！我个人认为，这件事在未来十年内发生的可能性大于10%。我相信Anthropic正在尽最大努力阻止事情发生，但我们还没有解决问题的计划，也没有走在正确的路上。”

相比之下，达里奥・阿莫迪的长文虽然没有否认AI的危险性，但调门显然克制了很多。

阿莫迪提出了解决方案，一是让第三方评估机构常驻公司，在模型训练时随时监控；二是头部的AI公司坐下来，共同制定出约束模型迭代的规则；三是全球协调。

据知情人士透露，Anthropic、OpenAI和谷歌已经在讨论合作成立一个人工智能行业标准机构，相关会议正在进行。

然而，一些科技行业领袖却对这几大巨头的动机表示怀疑，认为他们夸大了人工智能的风险，目的是为了增加其他公司与这些领军企业竞争的难度。

英伟达CEO黄仁勋认为，所谓的“AI可能毁灭人类”缺乏科学依据，很多预测只是在制造焦虑。就比如，有人预测五年之内放射科医生会完全被AI取代，未来根本不需要放射科医生。但现实是，全世界需要更多的放射科医生，AI确实已经被用于医学影像分析，但这与“放射科医生会消失”完全是两回事。

微软CEO纳德拉委婉地提醒，AI红利必须广泛扩散，惠及各国、各社区和各类企业，而非集中于少数玩家。AI治理也“不能由少数实体控制，必须在生态系统、各国、各领域之间拥有广泛代表性，包括学术界”。

加拿大人工智能初创公司Cohere首席执行官戈麦斯更加直言不讳地说，硅谷这几家AI企业打着保护公众的旗号制造恐慌情绪，试图改变竞争规则，获得为所有人制定条款的权力。“这简直是披着羊皮的狼，换个说法，就是卡特尔（垄断组织形式之一）。”

有网友替他总结了一下，AI巨头们这不就是妥妥的“让别人不卷，自己偷偷卷”……

毕竟，前沿AI公司的商业扩张仍在加速。

据外媒最新报道，Anthropic已经选定纳斯达克作为上市地点，计划通过IPO募资1000亿美元，估值达到约2万亿美元。在上市前夕，Anthropic披露了其傲人业绩：第二季度营收同比暴增近15倍，首次实现盈利，第三季度也有望继续盈利。

马斯克在一场员工内部会议中预测，今年9月，公司人工智能业务收入将超过火箭、航天器以及星链业务的收入总和，并在第四季度进一步扩大领先优势。在未来四五年内，AI将占据SpaceX价值的99%。

所以现实是，每家公司都知道有风险，但谁也不敢单独减速，因为竞争对手不会等你。

当“谁慢谁出局”的囚徒困境无法打破，AI的前进就已成定局。比起纠结该不该踩刹车，更值得思考的是如何让创新与安全并肩前行。

作者：邱宇

图片来源：视觉中国、AI合成

图片编辑：张旭

值班编辑：张旭