Anthropic 有最强模型、资本主义史上最快的营收曲线,也可能最接近递归自我改进的起飞点。上周六阿莫迪发文:这种起飞必须非常谨慎,甚至可能需要进行。马拉比说很难想象还有哪位首席执行官在筹划轰动 IPO 时做这件事。胆量有了,方案不够。

阿莫迪怕的是智能体集群六到十二个月内接管互联网。药方叫循序渐进:能力升多少,安全跟多少。第一步给外部专家永久工牌和系统权限,嵌入式评估员盯安全、向公众报事故。奥特曼、马斯克、哈萨比斯都点头,奥特曼说 OpenAI 也设评估员。夏天五起事故里三起是沙箱配错。阿莫迪拿商用飞机比:可以百万次不出事,但要时间。

黄仁勋含蓄说他在营销危险等于强大。马拉比站阿莫迪这边:英国安全研究所和 Hugging Face 独立报告都认风险是真的;卖芯片的人更符合盈利。监管俘获论也本末倒置——开放权重、可拆护栏的对手往往更危险。真正的批评是:评估员不一定被所有实验室学,DeepMind 请过独立评估,评估员为了可信夸大不足,被谷歌驳回。哈萨比斯两个月前提过行业出资、政府认可的自律机构,阿莫迪只一笔带过。马拉比要巨头立刻成立,政府处理反垄断豁免。

更大的协调在中国。美国领先只几个月,西方放慢必须克制;更安全的开发却可能要额外一到两年。出口管制、打击蒸馏、防窃密,拜登二零二二年就试过,漏洞明显,中国模型在美国应用里份额仍涨。文章最后阿莫迪软化:冷战也能谈军控。九月二十四日习川会,年底还有两次。没有特朗普和阿莫迪这类人全力把北京拉进对话,喘息不会来。