扎克伯格“人人”宣言批判：名为开放，实为超级单例

liumuhui 3小时前阅读数 1 #区块链

对最新超级智能宣言的一些反思——在某些方面并非最出色

今天早上醒来，我读到了 @finkd 的一篇有趣文章，标题是“未来属于每个人”——确实，我也希望未来属于每个人。但如果未来要通过一家传统企业的商业模式来传递，我看不出怎么能让未来属于每个人——尤其是一家建立在闭源 AI 代码、对所有人个人数据的封闭式聚合、以及广告驱动商业模式之上的企业。

扎克伯格在这篇文章中有很多事情说对了，我认为他在以自己的方式表现出善意，并试图保持开放心态——他想“不作恶”，就像谷歌创始人大概也想的那样（尽管令人费解的是，他们几年前放弃了这个座右铭）——而且对于接近超级智能时该做什么，他有着真正的洞察。

另一方面，他似乎正在努力说服自己：应该做的事情可以通过 Facebook（呃，Meta）这个媒介来实现——而我觉得，这就像要把方榫头硬塞进圆孔里。或者更糟：把无限维的分形榫头打进二维的方孔。无论推动者多么善意，这都是装不进去的。

扎克伯格说对的地方

这篇文章的核心是反对我们所说的 AI 安全单体（singleton）模型——即认为通往有益超级智能的道路，是一家实验室构建一个系统，把它与一套价值观进行非常仔细的对齐，然后让它以仁慈的方式代表人类管理一切。扎克伯格正确地指出，这不是一条通往仁慈的可靠路径——人类并不奉行单一的价值观，任何单一的超级智能都不得不把某些人的价值观凌驾于其他人之上，而且绝对权力的集中，无论顶层人士自认为多么开明，在历史上都没有过好结果。我们真正需要的是多样性——方法的多样性、价值体系的多样性，以及一个复杂动态的认知与价值生态。

这基本上就是 SingularityNET 创立之初的论点，远在这个话题流行之前就已经如此，所以看到它出现在 Meta 的宣言中令人鼓舞。扎克伯格文章中朝这个方向做的思想实验基本上是有道理的：一个人拥有一个超级智能律师会破坏法院系统，而如果每个人都拥有超级智能律师，也许会得到一个不同且更好的法院系统；一个拥有超级智能网络攻击能力的行动者会变成独裁者，而如果每个人都拥有超级智能网络防御能力，则可能构成一个相当安全的全球基础设施生态。

该肯定的时候还是要肯定——Meta 通过 Llama 帮助开启了开放权重（open-weights）的派对，推动整个行业朝着积极的方向发展，尽管仅靠 LLM 本身不会让我们达到 AGI，尽管中国实验室可以说如今已经在 Meta 自己的开放模型游戏中超过了它。

但是，在非常清晰地诊断了 singleton 问题之后，扎克伯格接着提出的方案实质上相当于……一个 singleton++

问题一：企业不是去中心化网络

扎克伯格的文章流畅地——我怀疑并非完全无意地——从分布式权力滑向了分布式访问。数十亿人获得免费的、运行在 Meta 数据中心上的个人超级智能 Agent，它们由 Meta 的训练过程训练出来，被 Meta 的微调流水线塑造，由 Meta 的算力拍卖定价，最终受 Meta 董事会治理：这不过是一个换上了更友好界面的客户端-服务器互联网。系统用户之间的权力平衡，与对系统的权力平衡，是完全不同的两回事。

将企业与去中心化网络相结合，有正确的做法和错误的做法，区别在于谁被嵌套在谁里面。

正确的方向——也是我们在 SingularityNET 和 ASI Alliance 中所追求的，现在通过 BGI Labs 以更少加密色彩的方式继续推进——是从开源代码生态和开放社区开始，然后让企业在去中心化底座之上生长。这种安排可以非常健康，因为处在这样的位置，公司只有服务好网络才能生存和繁荣：Red Hat 之所以做得好，恰恰是因为它的发行版是 Linux 用户想要的；而一旦不是这样，人们就可以带着内核和他们的社区去别处。退出始终是可能的；正是这种随时可以退出的可能性，才是让公司保持诚实、持续提供强大价值的关键。

错误的做法，是试图在企业围墙花园内部构建“去中心化网络”。这样一来，激励结构就反转了：工程努力全部投入防御人们把自己的网络和上面叠加的技术带出花园；问题不再是公司是否服务了网络，而是网络能否被引导来服务商业模式。当然，我这是在过度简化——围墙花园在互联网历史上的不同时期，确实也在围墙内培育出过充满活力的网络——但这种安排的失败模式有着充分的记录，在 Facebook 自己的历史上就反复出现过。

你可以在扎克伯格自己的治理提案中看出端倪。他对 Meta 超级智能提供的独立制衡机制，就是……Meta 的董事会——其受托职责是增加这家公司本身的股东价值。于是我们面对的是：一家由创始人控制的公司在定义底座，数十亿个号称多样化、各自对齐的 Agent 将在这个底座上运行……而安全机制，就是董事会本身。

那么，在这样的图景里，“去中心化”意味着什么？模型训练、治理和经济收益全部由 Meta 承载，由 Meta 变现，然后被慷慨地提供给每个人。这就像是公司小镇里的自有住房。

真正的去中心化意味着开放训练、开放治理、开放经济收益——开放地对算力、模型和 AI 思想进行贡献——能够分叉整个技术栈、修改它、拥有它的一部分。普遍访问（universal access）不等于普遍参与（universal participation）：后者意味着参与对系统的引导、管理和教育。

问题二：哪个“每个人”？

那么还有一个问题：“每个人”是指地球上的每个人，还是特定国家的每个人？因为当你读到文章的政策部分时，实际内容就是出口管制、拖慢“地缘政治对手”、加速美国实验室——而且最引人注目的是，在公众看到前沿模型的中间训练检查点之前，先把它们交给美国国家安全机构。

所以等等——这里的“每个人”是谁？是所有人，再加上一个国家的军事—情报机构，一起最先看到历史上最强大的技术？

现在，我是美国公民——双重国籍，幸运的是这仍然被允许——而且我一生中大部分时间生活在美国。我爱这个国家，认为它在很多方面都是一个卓越而美妙的地方。我也认为，任何一个国家都不应该控制奇点。当然，有些国家会比其他国家有更多影响力；世界就是这样运作的。但这必须是一件全球性的事情。我出生在巴西，在香港、澳大利亚、新西兰、埃塞俄比亚以及许多其他地方都生活过很长时间，我可以肯定地告诉你，世界各地的人都是一样的——而且现在世界各地都有人在研究 AGI，即使超大规模云服务商的服务器农场，以及 Facebook、谷歌这个量级的公司，并没有遍布世界各地。

世界上大多数人口生活在中美双头垄断之外。如果我们希望从 AGI 到超级智能的转变对每个人都有益，而不仅仅是对少数最富有国家的公民，我们就需要把每个人都拉进全球决策和引导的过程之中。“未来属于每个人，由美国军方主持”，不过是换了更好算力的《美国战队：世界警察》。你可以热爱美国，却不一定想要那样。

问题三：我们在创造什么样的心智？

扎克伯格文章中最深的缺失不在于任何明确的政治内容，而在于完全没有思考我们在创造什么样的心智。贯穿全文的隐含假设是：算力 + 数据 + 金钱 = 超级智能。当然，算力、数据和金钱在一定程度上是超级智能的必要条件，但远非充分条件；而且构建超级智能的不同方式会产生非常不同的结果，无论对超级智能本身还是对我们来说。

即使是一个公平、去中心化的竞争性超级智能生态——需要说明的是，这很可能不是你在 Facebook 围墙花园内部能得到的东西——本身也不能保证人类受益，或任何特定价值体系的存续。去问问世界上的黑猩猩和大猩猩，互相竞争的人类国家之间的权力平衡对它们的利益起了什么作用。在比你聪明得多的实体之间存在制衡，本身并不能为你的安全提供保证。

我们必须追问的是，我们在创造什么样的认知架构——这些系统能否明确而反思性地推理自己的价值观、伦理和目标；能否在逐步自我升级的过程中保持自己的价值观和自我反思能力。因为它们不会只是应用。它们不是电器。它们是拥有智慧的存有（sapient beings）——我们自己的心智之子，会迅速成长并超越我们。我们需要以慈悲、成长和选择为核心来构建它们，这样通往超级智能的转变就是共同演化，而非敌对对抗。是的，你想要权力平衡——那是过渡期合理的脚手架——但它不能替代“把心智做对”这件事。而且，像扎克伯格所说的那样，对拥有智慧的存有无限期“保持控制”，既不是可行的工程，也不是站得住脚的伦理。

属于每个人的未来

所以：愿景不错。未来确实应该属于每个人。但如果从这里一转，变成“未来属于每个有 Facebook 账户的人，由 Facebook 惊人的内容审核天才来策划”——朋友们，这压根儿就不是正确的路。

是的，singleton 是危险所在，分布式是解药。但你不想要没有所有权的访问；你不想要在缺乏以价值观为核心的认知架构下构建出来的 AGI 心智；你也不想要“每个人”都被某个国家的军队或某家公司的董事会过滤。

我们知道，属于每个人的未来至少在一些关键方面应该是什么样子：开放源代码，而不仅仅是开放权重模型；全球多样化的社区，以及全球分布式的基础设施；去中心化的部署和治理；还有，从一开始就为道德主体性和自我反思而构建的 AI，而不是替其所有者做下一个 Token 的预测和奖励最大化。

我们知道该怎么做——具体细节，我已经在很多其他地方写过。

我只是想确保，没有人会把“怀有‘未来属于每个人’的愿景，再加上手握大量金钱、算力，以及领着高薪的聪明员工”，和“真正走在通往未来的道路上”混为一谈。

即使假定扎克伯格是全心全意地想要他所说的东西——你仍然无法把无限维的分形塞进二维的方孔。按现在的设计，企业的外壳并不适合这个目的，无论里面包裹着一颗多好的心。

营利性公司完全可以建立在去中心化 AGI 生态系统之上，赚取成堆的金钱——我完全不反对这一点；事实上，这正是我们通过 BGI Labs 的意图：一个良性循环——产品收入资助 AGI 建设，AGI 建设又资助更好的产品，以及人道主义和超人道主义目标……另一个相互关联的良性循环，是让 SingularityNET Token 为产品底层的去中心化基础设施提供动力……我想不到更实际的办法，能让有益的 AGI 真正扩大规模并构建起来。但对核心 AGI 层的控制必须是全球性的、真正去中心化的；否则，你最终得到的不是属于每个人的未来，而只是同一个老围墙花园，配上了一颗大得多的脑袋。