突发,Dario提全球AI限速三步计划!奥特曼马斯克第一时间支持

新智元报道 今天,Anthropic CEO Dario Amodei发布了一篇罕见长文—— We Must Pace the Frontier(我们必须控制前沿AI的发展节奏) 这一次,他直接把矛头对准了前沿模型的研发速度,核心观点就一句话: 最顶尖的AI,真得主动踩刹车了。 这篇长文中,Dario亲口承认,「递归自我改进(RSI)已经在全行业出现了」。 更让人后背发凉的是,他预测未来6—12个月,AI Agent集群可能会接管整个互联网。 面对这种脱缰的风险,Dario在文里直接掏出了一套动真格的「三步刹车法」: 第一步,开门迎客: 引入独立第三方常驻公司,拿到跟内部核心风控同等级的深度访问权限; 第二步,行业划线: 联合全美前沿AI巨头,一起画死能力红线、设立强制安全检查站; 第三步,全球落地: 把这套框架推向国际,彻底锁死不可控风险的蔓延。 话音刚落,奥特曼就光速跟进,「Dario是对的,OpenAI也会引入这样的评估机制」。 另一边,马斯克也是几乎秒回,公开力挺Dario。 能让三位巨头瞬间达成共识,场面确实罕见! 达里奥的「三步计划」 为全球AI减速 这一次,Dario并没有只喊一句「AI该减速」。 Dario真正想做的,是把这套「减速机制」一级一级推开,而且顺序非常明确—— 先让AI公司自己变得可验证,再让整个行业一起踩刹车,最后才谈全球协调。 第一步,先从Anthropic自己动刀。 像METR这样的独立第三方,不应该每次都等事故出了以后,才临时进公司调查,而应该长期驻场。 给工位、给内部电脑、给接近风险团队的权限。 模型怎么训,安全承诺有没有落实,训练流程有没有埋雷,出了事有没有瞒报,都能持续盯着。 而且,查出问题之后,必须公开。 公司可以删掉真正涉及法律、客户隐私和核心商业机密的部分,但不能因为报告太难看,就把结论按下去。 第二步:不能只让一家踩刹车 真正难的,从这里开始。 如果Anthropic自己减速,OpenAI、谷歌、xAI继续狂奔,那谁先踩刹车,谁就可能先吃亏。 所以,Dario建议,需要把规则推到整个美国前沿AI行业。 几家前沿AI公司一起定安全红线,一起设能力检查点。模型每跨过一个危险门槛,就必须先拿出对应的安全证据,才能继续往前冲。 比如,一个模型已经能突破多数常见隔离环境了。 那接下来公司就得证明:它不会轻易逃出沙箱,不会擅自接管大量机器,也不会把这种能力变成现实攻击。 证明不了,就先别往下冲。 另外,Dario甚至提到,还可以讨论限制训练算力、训练方式,以及公司内部用AI研发AI的速度。 也就是,直接给RSI本身加一道限速器。但光靠几家公司私下握手还不够。 他更希望最终由美国政府出手,把规则覆盖到所有前沿AI公司。 第三步:把刹车踩到全球 再往上,就是最难的一层。Dario把全球协调分成了四级。 第一层相对最现实:先禁止生物武器这类明显危险的用途。 第二层,是前沿模型发布之前,统一做网络攻击、生物安全等高风险测试。 到了第三层,才真正开始碰核心: 能不能给RSI,也就是AI研发AI的速度,直接设一个全球上限? Dario自己的判断是,这件事「刚好处在可能做到的边缘」。 至于第四层——全球前沿AI公司一起大幅减速,甚至阶段性暂停训练——他自己都没抱太大希望。 至少短期内,几乎不现实。卡住这一切的,还是同一个问题:怎么验证。 一家公司说自己停了,谁能证明它真的停了? 所以Dario这整套方案绕到最后,核心其实非常简单: 先把AI公司的门打开,让外部人真正进去看。 也正因为如此,Dario把「第三方长期驻场」放在了整套方案的第一步。 RSI已经开始了 6个月AI接管互联网 可问题来了。为什么偏偏是现在? 三年前,行业里就掀起过一阵「暂停训练、给 AI 踩刹车」的联名潮,但那时候Dario根本没接茬,认为时机压根不成熟。 真正让他改变态度的,是两件事——RSI开始出现,以及AI智能体已经暴露出越来越具体的失控行为。 他在文章中明确承认,AI参与研发下一代AI的现象,已经开始在整个行业出现,Anthropic自己也包括在内。 AI帮人写代码、做实验、分析结果、优化训练流程,再进一步帮助下一代AI变强。 如果这个循环开始自我加速,最麻烦的地方就出现了: 模型能力提升的速度,可能开始超过人类理解和控制它的速度。 因为安全研究本身需要时间。 你得先观察模型出现了什么新行为,再研究这些行为为什么出现,接着设计测试方法、防护措施,最后验证这些措施到底有没有用。 可如果模型能力每隔几个月就跳一个台阶,安全团队很容易一直追在后面补漏洞。 Dario真正担心的,并不是某一天AI突然「觉醒」,而是这个反馈循环开始越转越快。 AI越来越多地参与AI研发,下一代模型越来越快出现,而安全机制,还来不及跟上。 如果RSI只

about image
蛇不随便进家门!一旦主动入户,其实是在传递2个重要信号

蛇不随便进家门!一旦主动入户,其实是在传递2个重要信号

为篮球运动员提供心理辅导和心理素质训练,提升其应对压力和挑战的能力。...

[无下一篇]

[无下一篇]

为篮球运动员提供心理辅导和心理素质训练,提升其应对压力和挑战的能力。...

订阅邮箱