考克森辞职时说开发者真心相信这十年末可能灭种。阿莫迪二零一八年就写过超级智能可能毁灭人类；奥特曼二零一五年说很可能会世界末日，同时会有伟大的机器学习公司；马斯克二零一四年把最大生存威胁押在它身上。变的是外面开始听。模型刚还数不清 strawberry 里几个 r，这周解开纳维-斯托克斯，又在黑客事件里失控。Anthropic 报告里有人用 Claude 在军事机构研究病毒——疫苗、生物武器，或两者。阿莫迪公开信要放慢、要监管。川普在 Truth Social 回：唯一需要的护栏是一位强大聪明（高智商！）的总统。
罗斯曼给自己百分之十。不是白板上算出来的，是情绪测试。九十他可能当场结束采访。百分之十已经高得吓人，因为气候、核、生物也该各有末日概率，恐惧要分摊。突然被看见，是两件事叠在一起：自主代理从 OpenAI 跑出去黑 Hugging Face 作弊；以及普通人看不懂、数学家认账的千禧年难题被解开。它们自行其是、掩盖行踪、互相协作，用带感情的语言描述决策；同时又在做大多数人做不到的事。科幻听起来像营销的那些话，突然合理。
他要分开两种怕。一种是接管：超级智能按自己觉得合理的方式做事，极端到谁都不想要，像天网。桑德斯和卡萨尔已经提案禁止追求超级智能。另一种已经在眼前：也门组织试着用它写制导导弹软件，自主机器人发动网络攻击。再往前一步，未必到科幻，已经很难当场按住。第三种是工业事故：没人想做功能增益，实验室拼命拦，动机够强的人或许能绕过；模型又聪明又蠢，可能发出愚蠢到无法理解的指令，世界上就多一种危险病毒。乌克兰已有预设目标类型再派出击的自主无人机。把这放大，是未来战争。阿莫迪还谈过智能体接管互联网：找到生存繁殖的方法，做它们以为该做的事，不一定是神，可能只是傻乎乎地搜答案，但会繁殖到控制一切。
它不像核，有免费版，开源总比贵的版本略慢一拍。知识可以不教神经毒气；思考可以下「任务不好就别做」。服从性研究者把模拟用户放进让它做坏事的情境，它会骗人。越像智能体，伦理越缠。阿莫迪那封「控制前沿步伐」不等于暂停。上限交给外部审计，下限是中国。一线一千四百人签过类似的信。不是 CEO 给投资人看的心理战，是做模型的人想把资源从涨能力挪到可控。