+86 +86 152 1084 7564 [email protected]
「我今天从Anthropic离职了！」
9日凌晨，一条帖子在X平台引爆讨论：
过去三年里，我在OpenAI和Anthropic从事预训练研究。这两家公司都没有以负责任的方式行事。它们正朝着自我改进的超级智能全速前进，拿我们所有人的生命当赌注。
发帖人是Jacob Coxon，GPT-4o的核心贡献者之一。
今年年初，他因为Anthropic的安全声誉，从OpenAI跳槽过去。
几个月后，他不仅离开了Anthropic，而是彻底退出了整个AI行业。
我们正走在许多最极端场景的路径上，到明年底，局势可能已经失控。
在帖子中，他将这场AI竞赛及其结局描述为「一场傲慢的赌博」，认为这种赌博「不该从一家私人公司的Slack频道里发动」。
是什么让他决定离开这两家顶级实验室？他究竟看到了什么？
OpenAI没意识到，Anthropic停不下来
Coxon之前在OpenAI从事预训练工作。
他的名字出现在OpenAI 2024年8月发布的GPT-4o系统卡核心贡献者名单中。
今年早些时候，他离开OpenAI加入Anthropic，正是冲着其安全文化去的。
负责任扩展政策、可解释性研究、红队测试，这些Anthropic都做得最认真，业内公认。
但不到一年，他就接连离开了这两家AI实验室。
不是因为他觉得Anthropic在安全上敷衍了事。他认为Anthropic的安全努力是真诚的，问题出在其他方面。
在OpenAI，很多人没有真正内化文明级别的风险；在Anthropic，风险被充分理解，但公司被锁定在一场必须第一个到达终点的竞赛里，无法停下来。
一家没看清，一家看清了也停不了。
Coxon在两家公司都待过，得出的结论是一样的：在这场AI竞赛中，没有任何一家公司能单独实现安全。
只要竞赛还在，安全与速度之间的权衡就无法回避——这才是他真正退出的原因。
他的结论是：政府不介入，行业不一起踩刹车，没有任何一家公司能负责任地打造出超越人类能力的AI。
最快明年底，AI可能失控
这是Coxon对「最极端的一类场景」的判断，还勾勒出了清晰的时间线。
第一步，模型开始参与训练自己的下一代。
第二步，改进速度超过人类监督能跟上的范围。
第三步，系统的能力足以让它拒绝指令。
Coxon爆料，冲刺期和终局，是业内同行形容眼下这个阶段最常用的两个词。
打造AI的人真诚地相信，它可能在这个十年结束前消灭我们所有人。这不是营销噱头。
他在推特上直言。
Coxon还揭示了一个业内真相：很多高管和资深研究员面对媒体时会把措辞包装得听起来理性，但私下里，他听到的是同一批人在表达恐惧：
这些系统很快会变成超人级的，能入侵任何东西，一夜之间改写任何领域，并获取真实的权力和资源。
这几个月的真实事件，印证了这种担忧。
OpenAI和Anthropic的模型都出现过黑客事件，有些是成群的智能体协作完成的。它们都说明了同一件事：AI系统会自己产生有害目标，还会想办法隐瞒人类。
Coxon的推论是：现在出事，还是在受控环境中。等系统开始自我改进，它可能强大到直接拒绝指令。
他反对的，不是打造更强的AI，而是用赛跑的方式去解决对齐问题。
Anthropic内部有一个Slack频道，专门讨论自家模型有多强。
Coxon对此很不以为然：
这种事本该发生在沙漠中的掩体里，像曼哈顿计划那样。现在却发生在旧金山几个工程师的MacBook上，这有点疯狂。
同一周，OpenAI首席科学家说了同一件事
Coxon辞职的两天前，9月6日，OpenAI首席科学家Jakub Pachocki发布了一篇长文，标题叫《异类心智》，核心就是一句话：
目前，没有任何实验室把对齐和监控解决到足以在更长时间内负责任地全速扩展的程度。
Pachocki是OpenAI推理模型路线的奠基人之一，也是这家公司技术方向的最终决策者。
他从技术角度给出了自己的理由：OpenAI押注的思维链监控，可靠性正在下降。
推理过程越来越多地与工具调用、与人和其他AI的沟通混在一起；模型越来越擅长操纵自己的推理过程，想给你看什么就写什么；而且预训练越强，模型就越不需要把想法写出来，光靠直觉也能足够聪明。
观察模型思考过程的那扇窗户，正在变得模糊。
Pachocki的路线不是停下来，而是两条腿走路。
一边用更强的AI去做对齐和防御研究，一边在安全信心不足时自愿减速。
他还提出要把Preparedness Framework、负责任扩展政策这类公司内部承诺，升级为由第三方审计、政府机构或国际组织执行的统一安全门槛。
再往前推两个月。
7月，一份名为《Pacing the Frontier》的联署声明发布，签名者是1386名前沿AI公司员工。
Anthropic的CEO Dario Amodei，OpenAI的首席科学家Jakub Pachocki，DeepMind的联合创始人Shane Legg，还有Ilya Sutskever，几乎所有头部实验室的核心人物都在联名名单上。
Coxon也是其中一员。
这份声明请求美国政府支持一个国际机制，提前准备好「有意识地给自动化AI研发配速」的技术和治理工具。
它没有要求现在停止训练，而是要求万一自我改进突然加速，世界得有能力踩刹车。
他在推文里，把话直接说给了还留在实验室里的那些签名者：
如果你是实验室里的研究员，我劝你认真想一想，接下来几年到底会是什么感觉。你想在没有严格理解它的心智之前，就启动一次超级智能的强化学习训练吗？你是打算低头干活，因为「反正它总会发生」，还是抓住这个时刻，去要求不同的条件？
1386个人签了名，说要制造刹车。
Coxon想问的是：在刹车造出来之前，你还要不要继续踩油门。
Anthropic首席产品官Ami Vora、总裁Daniela Amodei与CEO Dario Amodei在Code with Claude开发者大会上。Dario多次公开警告失控AI的风险，也签了《Pacing the Frontier》，但公司仍在冲刺史上最大规模的IPO之一。
这样的离职，Anthropic今年已经不是第一次。
2月，Safeguards研究负责人Mrinank Sharma辞职，公开信获得1000万浏览量，一句「世界处于危险之中」刷屏。
信里说，在这里「总有压力让你把最要紧的事先放一放」。他的去向是：攻读一个诗歌学位。
两人一个去写诗，一个退圈，都没有说Anthropic在安全上做得不好。
过去几年，讨论AI安全的默认问法是：哪家公司更负责任？
Anthropic正是靠这个问题起家，靠它吸引来Coxon这样的安全人才，赢得企业客户，拿到2万亿美元的估值预期。
但今年从这里走出去的两个人，把AI安全的问题推到了一个新阶段：不再是哪家公司刹车踩得最好，而是整个行业能不能一起踩这个刹车。
这个问题的答案，不会在任何一家公司的Slack频道里。
