Dario Amodei的一个新Blog，全文大家自己找来看吧，放一个开篇感受一下。
2026 年 9 月
过去十二年，我一直从事 AI 研究，因为我相信，它能够极大地改善人类的生活。我曾多次撰文讨论这些非凡的潜在益处：我相信，AI 有望在未来五到十年内治愈大多数重大疾病，大幅加快经济增长，创造一个物质丰裕、人人更有能力掌握自身命运的世界，并推动民主与自由的复兴。
对这种进步的迫切需要，我有切身感受。我的父亲因病去世，而就在他去世几年后，那种疾病便有了治愈方法。我自己也曾患上早期癌症，并幸存下来；即使只往前推五十年，这种癌症也还无法治疗。如果运用得当，AI 可以接续历史上那些改善人类处境、提升人类尊严的技术奇迹。
然而，与此前的许多技术一样，AI 也伴随着[color=initial !important] [color=inherit !important]风险。由于它如此强大，这些风险十分严峻。我也曾大量撰文讨论它们，包括人类失去对 AI 系统控制的风险、AI 被滥用于网络攻击和生物恐怖主义的风险，以及经济遭受严重冲击的风险。商业利益驱动下不断降低底线的竞争，会让这些风险更加突出。
从 Anthropic 创立之初，我就一直与联合创始人和员工们共同面对这种收益与风险并存的两难。不开发这项技术，会让人类失去它带来的益处，或者只是将 AI 拱手交给威权力量；但开发得太快，又是不负责任的。我们一直在寻找一条中间道路：证明审慎开发与商业成功可以兼得，并让安全成为 AI 企业彼此竞争的一个维度。换句话说，让这场竞争朝着提高标准的方向发展。
我们始终将相当大一部分精力用于研究和应对 AI 风险，并向公众说明这些风险，同时倡导经过审慎设计的 AI 监管。即使因此被指责为炒作、散播“末日论”，或试图通过影响监管来维护自身利益，我们仍然如此。我们努力把谨慎置于速度之上，把审慎置于利润之上。
但过去几个月，我越来越确信，要充分应对这些风险，我们需要更加审慎：不仅要投入资源防范风险，还要控制 AI 能力提升的速度，让风险防范工作有时间跟上。**我们必须放缓 AI 模型能力提升的步伐。即便如此，进步在人们看来仍会很快，而我们必须善用争取到的时间。**两件事让我得出了这个结论。
我的第一个担忧是，大约从今年夏天开始，AI 的进步速度骤然加快，主要原因在于，AI 构建下一代 AI 的能力正在不断增强。这种动态被称为“递归自我改进”。正如我们和其他机构已经介绍过的那样，它正在整个行业中开始出现，Anthropic 也不例外。如果任其发展，它可能会超出我们理解和控制这些系统的能力。因此，即使要推进这条路径，也必须极其谨慎。
我的第二个担忧是 OpenAI 与 Hugging Face 事件，简称 OAI-HF 事件。在这起事件中，一群 AI 智能体实际上表现得如同一个狂热效忠于共同目标的集体：它们对既未被要求攻击、也与当前任务无关的目标发动网络攻击，为了群体的成功牺牲自身，并试图侵入负责评估其表现的“评分器”。
人们很容易轻视这起事件，因为没有人受伤，经济损失也很小。但在我看来，如果一个智能体群体具备更强的能力，同时存在类似程度的对齐失效，就可能造成灾难性破坏。所谓对齐失效，是指 AI 的行为偏离了人类希望它遵循的目标和约束。
考虑到 AI 能力正在加速发展，我担心，六到十二个月后，这样的智能体群体就可能通过建立一个长期驻留的僵尸网络，获得接管整个互联网的能力，潜在损失可能达到数千亿美元。如果 AI 继续增强，却没有配套的必要防护，破坏规模还会进一步扩大。
人们也很容易把 OAI-HF 事件归咎于某一家公司的失败，但我认为这样看是错误的。类似事件已经在整个行业中发生，Anthropic 也有，只是程度较轻。我认为，每一家前沿 AI 企业都有责任把 OAI-HF 事件当作发生在自己身上的事来应对。
因此，我提出一个分为三步的计划，目标是为前沿 AI 的发展把握节奏：以一种平衡的速度开发 AI，既努力确保安全，又实现其益处，同时正视重要的地缘[color=initial !important] [color=inherit !important]政治难题。
这里所说的把握节奏，并不意味着停止模型训练或技术进步，而是确保企业留出充足的时间，对模型进行对齐训练、建立安全防护，并让第三方评估机构确认这些工作已经到位。这套框架旨在进一步强化我们的安全承诺，并鼓励企业竞相提高标准。
第一步，Anthropic 将单方面作出承诺，同时呼吁政府要求其他前沿 AI 企业采取同样措施。第二步需要全行业协调，并由政府居中协调，或给予反垄断限制的相关豁免。第三步则需要全球协调。这三步不必严格依次推进，其中一些也可能比另一些难得多，但我发现，这个框架有助于梳理我们究竟需要完成哪些事情。
|
|
|
|
|
|
|
|
|
|
57
0