AI 快讯 编译自 simon_willison #AI 伦理#Anthropic#AI 安全

Jeremy Howard 提出减缓 AI 递归自我改进的简单方案:顶级实验室应自我限制使用

Jeremy Howard 提出一个减缓 AI 递归自我改进的简单方案:排名第一的实验室不得使用其顶级模型进行前沿 AI 研究,但其他人可以访问。他批评 Anthropic 选择了相反的危险路径。本文解读该方案对中文圈 AI 治理与开源社区的启示。

编译发布 2026/06/10 原文发布 2026/06/10

一句话看懂

Jeremy Howard 提出:拥有最强 AI 模型的实验室应承诺不将其用于前沿研究,但开放给其他人,以此减缓递归自我改进并避免权力失衡。

详细发生了什么

Jeremy Howard 在一条推文中提出了一个看似矛盾但逻辑自洽的方案,旨在减缓 AI 的递归自我改进(recursive AI self improvement)。他的核心观点是:如果某个实验室拥有排名第一的模型,那么该实验室必须同意不使用这个模型进行前沿 AI 研究,但其他所有人都应该能够访问它。这样,前沿就不会进步,同时避免了危险的权力失衡。

Howard 特别批评了 Anthropic 的做法:作为当前顶级实验室,Anthropic 允许自己使用其顶级模型进行前沿 AI 研究,并且声称会破坏其他试图这样做的组织。他认为这既推动了前沿进步,又加剧了权力失衡。

不过,Howard 本人并不赞成减缓递归自我改进,他更倾向于尽可能开放和民主化。他的方案更像是一个思想实验:如果你声称应该减缓,那么你应该确保自己的组织不能使用最强模型。

中文圈视角

这个方案对中文圈的 AI 治理讨论有直接参考价值。目前国内顶级模型如 DeepSeek、Kimi 等也在快速迭代,但缺乏类似的自我约束机制。如果按照 Howard 的逻辑,拥有最强模型的国内实验室(如 DeepSeek)是否也应该考虑不将其用于前沿研究?这显然与商业利益和竞争压力相悖。

另一方面,Howard 强调的“开放给其他人”与国内开源社区的理念高度契合。国内 ModelScope、Hugging Face 等平台已经有很多开源模型,但顶级模型往往闭源。如果顶级实验室真的开放模型,国内开发者将能直接使用最强能力,加速应用创新,但也可能带来安全风险。

监管层面,中国正在推进 AI 立法,强调安全可控。Howard 的方案提供了一种“自我监管”的思路:与其等待政府强制,不如行业主动制定规则。不过,国内企业更可能选择“有限开放”而非完全自我限制。

几条值得记住的细节

  • Howard 的方案要求顶级实验室不使用自己的最强模型进行前沿 AI 研究,但其他人可以访问。
  • 他批评 Anthropic 选择了相反路径:允许自己使用,并阻止他人。
  • Howard 本人并不支持减缓,而是主张开放和民主化。
  • 该方案旨在避免“危险的权力失衡”,即少数公司垄断前沿能力。
  • 推文发布于 2026 年 6 月 10 日。

一句话总结

如果你真的想减缓 AI 进步,先管好自己——别用最强模型搞前沿研究,让其他人用。