扎克伯格更担心某些我们不信任的人掌握了超级 AI，有了优秀的开源 AI 反而可以帮助引领标准，确保一个更公平、更均衡的竞争环境，达到平衡

发布人

扎克伯格更担心某些我们不信任的人掌握了超级 AI，有了优秀的开源 AI 反而可以帮助引领标准，确保一个更公平、更均衡的竞争环境，达到平衡。

***

Mark Zuckerberg: 存在一个风险， 那就是 AI 系统可能会采取一些不良行为。这让我夜不能寐，我总是担心， 如果某些我们不信任的人掌握了超级 AI 会怎样？无论是我们国家的敌对国家政府， 还是我们不信任的公司， 这都可能构成更大的威胁。

最好的缓解策略可能是拥有优秀的开源 AI， 这样的 AI 基本上可以成为标准， 从许多方面来看，它都能成为领导者。这样， 就能确保一个更公平、更均衡的竞争环境。我认为这是可行的， 如果真的能实现，那将是我期待的未来。

Dwarkesh Patel: 我想理解， 如果有人想用 AI 系统制造混乱， 那么世界上其他开源系统如何防止这种情况呢？

Mark Zuckerberg: 就像某人携带生物武器一样， 我所说的这个安全问题， 我认为一个拥有较弱 AI 的人试图侵入由更强大的 AI 保护的系统， 成功几率会更小。

Dwarkesh Patel: 那么， 你怎么知道世界上的一切都是这样呢？例如，如果生物武器并不像我们想象的那样呢？

Mark Zuckerberg: 我不是说，我并不确信世界上的一切都是那样的。我猜生物武器是他们关注的重点之一对于那些最担忧这类问题的人来说。关于这一点，我认为他们的想法是有道理的。

我觉得我们可以采取某些缓解措施， 比如可以尝试不把某些知识训练进模型中，对吧？还有其他一些方式。但如果有一个行为极端恶劣的人， 我们又没有其他的 AI 来平衡他们， 理解正在发生的事情及可能的威胁， 那么这就可能构成风险。我认为这是我们需要警惕的事情之一。

Dwarkesh Patel: 我希望 Meta 有像其他实验室那样的一种框架， 如果我们发现有具体的问题，那么在开源方面就会禁止， 甚至在部署上也会有限制，像写在书上一样明确。公司应该做好这方面的准备， 人们也应有相关的期待。

Mark Zuckerberg: 确实，我同意这是一个关于存在性风险的合理观点。当前，我们更关注当下可见的各种风险， 主要是内容相关的风险。我们设定了明确的底线： 比如我们不允许模型助长任何形式的暴力、欺诈行为， 或以其他方式伤害人们。

就目前及未来一段时间内的模型而言， 虽然探讨存在性风险在智力上可能更吸引人， 但我认为真正需要我们投入更多精力去防范的是那些实际的危害， 比如有人利用模型去导致人身伤害， 以及我们现今看到的一些常见的危害， 例如各种形式的欺诈活动。因此，我不希望忽视这一点， 因此，我强调我们有责任确保在这方面做得更好。

我们确实非常支持开源的理念。虽然我还没有决定是否公开我们的所有工作， 总的来说， 我认为开源对社区和我们自身都有好处， 不是吗？因为我们将从创新中受益。但是，如果模型发生了某种质的改变， 我们认为开源它是不负责任的，那么我们就不会开源。

Dwarkesh Patel: 那么具体的质的变化是什么呢？比如你在训练 Llama5，Llama4，你看到了这个，你会觉得， 我不确定是否应该开源它？

Mark Zuckerberg: 我认为问题的关键并不在于模型会表现出何种行为， 更关于在显示这些行为后，我们无法进行哪些干预的问题。

事实上，对于一件事是否好或坏的判断，可能有很多标准， 我们很难一开始就把它们全都列举出来。就像我们在社交媒体上面临的问题， 人们可以通过很多种方式去造成伤害， 我们已经列出了大概 18 或 19 种类别的有害行为。为了识别和防止这些行为在我们的网络上发生，我们已经建立了 AI 系统。

我认为随着时间的推移， 我们会对这些问题有更深入的理解，并将其划分为更细的分类。这也是我们需要进行研究的一个重要方面， 因为我们需要理解我们正在观察的行为。

但是这不仅仅是我们的任务， 这也是我们选择开源的原因之一， 也有很多其他的人在研究这个问题。我们希望看到其他人观察到的情况， 以及我们可以采取的补救措施， 然后再根据这些信息来决定我们是否可以开源这个项目。

我对未来持乐观态度，我认为我们将能够开源这个项目。但在短期内， 我认为我们应该把重点放在处理那些人们正在利用模型做的事情上， 即使这些行为并不具有存在性的威胁， 但它们仍是我们在运行服务过程中必须面对的日常问题。这些问题实际上占据了我们大部分的工作时间。

来源：https://www.youtube.com/watch?v=x6vDjTHsDDo

打开封面下载高清视频观看高清视频视频下载器