几天前，一位美国人工智能政策专家告诉我：“在这一点上，我很遗憾地说，如果你不寻找EA（有效利他主义）的影响，你就错过了这个故事。
好吧，我很遗憾地说，至少在一定程度上，我上周错过了这个故事。
具有讽刺意味的是，我认为我周五发表的一篇文章是灌篮高手。一个关于为什么顶级人工智能实验室和受人尊敬的智囊团非常担心获得LLM模型权重的故事？及时而直接，我想。毕竟，最近发布的白宫人工智能行政命令包括一项要求，即基金会模型公司向联邦政府提供有关“任何两用基础模型的模型权重的所有权和拥有权，以及为保护这些模型权重而采取的物理和网络安全措施”的文件。
我采访了 Anthropic 的首席信息安全官 Jason Clinton，因为我的文章： 我们讨论了为什么他认为为 Anthropic 的法学硕士 Claude 提供模型权重是他的首要任务。他解释说，机会主义犯罪分子、恐怖组织或资源丰富的民族国家行动获得最复杂和最强大的LLM的权重的威胁是令人震惊的，因为“如果攻击者可以访问整个文件，那就是整个神经网络。其他“前沿”模型公司也同样担心——就在昨天，OpenAI的新“准备框架”解决了“限制对算法机密或模型权重等关键技术的访问”的问题。
我还与塞拉·内沃（Sella Nevo）和丹·拉哈夫（Dan Lahav）进行了交谈，他们是有影响力的政策智库兰德公司（RAND Corporation）就同一主题撰写的一份新报告的五位合著者中的两位，该报告名为“保护人工智能模型权重”。 内沃的简历将他描述为兰德公司梅塞尔森中心的主任，该中心“致力于降低生物威胁和新兴技术的风险”，他告诉我，在两年内，人工智能模型将具有重要的国家安全重要性，例如恶意行为者可能滥用它们进行生物武器开发。
人工智能安全中有效的利他主义联系网络
事实证明，我的故事并没有突出一些重要的背景：也就是说，在快速发展的人工智能安全领域和人工智能安全政策圈子中，来自有效利他主义 （EA） 社区的联系网络不断扩大。
那是因为我没有注意到连接线的精细编织。这很讽刺，因为像其他报道人工智能领域的记者一样，我在过去一年的大部分时间里都在试图了解有效的利他主义——一个“利用证据和理性来弄清楚如何尽可能多地造福他人的智力项目”——如何变成了许多人所说的一个类似邪教的团体，由极具影响力和富有的追随者组成（由 FTX 创始人和狱卒 Sam Bankman-Fried 而闻名），他们最关心的是他们最关心的问题围绕着防止未来的人工智能灾难摧毁人类。EA的批评者关注这种存在风险或“x风险”，称它正在发生，损害了对当前可衡量的人工智能风险的必要关注，包括偏见、错误信息、高风险应用程序和传统网络安全。
EA 最近因解雇 OpenAI 首席执行官 Sam Altman 而成为全球头条新闻，因为其非员工非营利组织董事会成员都与 EA 有联系。
但出于某种原因，我没有想到要为这篇文章进入 EA 兔子洞，尽管我知道 Anthropic 与该运动的联系（首先，Bankman-Fried 的 FTX 在这家初创公司中拥有 5 亿美元的股份）。然而，当我在第二天阅读Politico发表的一篇文章时，一个重要的缺失环节变得清晰起来。它坚持认为，兰德公司的研究人员是白宫行政命令中要求背后的关键政策影响者，兰德公司今年从开放慈善事业（Open Philanthropy）获得了超过1500万美元，这是一个由Facebook联合创始人达斯汀·莫斯科维茨（Dustin Moskovits）资助的EA集团。（来自 EA 关系的有趣事实：Open Philanthropy 首席执行官 Holden Karnofsky 与 Anthropic 总裁兼联合创始人 Daniela Amodei 结婚，并在 2021 年卸任之前一直是 OpenAI 非营利组织董事会成员。
Politico的文章还指出，兰德公司首席执行官杰森·马瑟尼（Jason Matheny）和高级信息科学家杰夫·奥尔斯托特（Jeff Alstott）是“众所周知的有效利他主义者，两人都与拜登政府有联系：他们在去年加入兰德公司之前曾在白宫科技政策办公室和国家安全委员会工作过。
在阅读了Politico的文章后，我长叹了一口气，立即在谷歌上进行了深入的搜索，并潜入了有效的利他主义论坛。以下是一些我没有意识到（或忘记）的事情，这些事情将我自己的故事置于背景中：
兰德公司首席执行官Matheny也是Anthropic长期利益信托的成员，该信托是“一个由五名财务上无私的成员组成的独立机构，有权选择和罢免我们董事会的一部分，这些部分将随着时间的推移而增长（最终，我们董事会的大多数成员）。他的任期将于今年12月31日结束。
Sella Nevo、Dan Lahav 和我引用的另外三位撰写 RAND LLM 模型权重报告的研究人员——RAND 首席执行官 Jason Matheny，以及 Ajay Karpur 和 Jeff Alstott——都与 EA 社区有着密切的联系。（Nevo 的 EA Hub 个人资料说：“我对几乎所有与 EA 相关的事情都感到兴奋，并且很高兴建立联系，特别是如果有办法帮助您制定与 EA 相关的计划。
Nevo 的 Meselson 中心以及 LLM 模型权重报告由对兰德公司的慈善捐赠资助，包括开放慈善事业。
Open Philanthropy 还向另一个专注于安全的大型智库乔治城安全与新兴技术中心捐赠了 1 亿美元（OpenAI 前董事会成员 Helen Toner 是该中心的战略和基础研究资助主任）
Anthropic 首席信息安全官杰森·克林顿 （Jason Clinton） 在 8 月份由 EA 资助的“存在主义信息安全论坛”上发表了讲话，“这是一个为期半天的活动，旨在加强信息安全社区寻求降低生存灾难风险的重要方法。
克林顿与 Anthropic 的同事 Wim van der Schoot 一起经营着一个 EA 信息安全读书俱乐部，该俱乐部“面向任何认为自己与 EA 保持一致的人”，因为“EA 需要更多熟练的信息安全人员”。
有效的利他主义希望人们将信息安全视为一种职业：根据 EA 领导者 William McCaskill 发起的一个项目 80,000 小时，“保护最先进的 AI 系统可能是你能做的影响最大的工作之一。
EA 和 AI 安全是相互关联的也就不足为奇了
当我跟进 Nevo 时，他建议我对 AI 安全社区中有如此多的 EA 连接感到惊讶。
他说，直到最近，有效的利他主义社区还是讨论、研究和倡导人工智能安全的主要群体之一。“因此，如果有人在这个领域工作了很长时间，那么他们很有可能以某种方式与这个社区互动，”他说。
他补充说，他认为Politico的文章令人沮丧，因为它“以阴谋论的语气写成，暗示兰德正在做一些不恰当的事情，而事实上，兰德公司几十年来一直为政策制定者和塑造者提供研究和分析。这确实是我们的工作。
Nevo表示，他和Meselson中心“都没有直接参与，我们也不知道EO”。他们的工作并没有影响行政命令中的安全规则，“尽管我们认为它可能间接影响了行政命令的其他非安全部分。他补充说，行政命令关于确保模型砝码的规定已经是白宫自愿承诺的一部分，“这些承诺是在我们报告前几个月做出的”。
虽然网上关于梅塞尔森中心的信息很少，但内沃指出，兰德公司有几十个大大小小的研究中心。“我的中心不仅是兰德公司最年轻的中心，也是最小的中心之一，至少目前是这样，”他说。“到目前为止，工作主要集中在与病原体无关的生物监测、DNA合成筛选、令人担忧的两用研究以及人工智能在生物学中的交叉点。”他说，该中心目前聘请了少数研究人员，但“有资金来提高其能力……我们在内部分享越来越多的关于我们中心的信息，并希望尽快建立外部网站。
我们需要在那堵墙上有效的利他主义吗？
这些 EA 喧嚣真的重要吗？我想起了杰克·尼科尔森（Jack Nicholson）在电影《几个好人》中的著名演讲，其中包括“你想让我在那面墙上……你需要我在墙上！如果我们真的需要人工智能安全墙上的人——而且大多数组织都受到长期网络安全技能短缺的影响——了解他们的信仰体系真的重要吗？
对于我和许多其他寻求大型科技公司和政策领导人透明度的人来说，确实如此。正如 Politico 的 Brendan Bordelan 在最近另一篇关于 EA 在华盛顿特区政策圈中庞大影响力网络的文章中明确指出的那样（是的，我错过了），这些问题将影响未来几十年的政策、监管和人工智能发展。
几天前，我采访过的一位美国人工智能政策专家沉思道，政策制定者并不倾向于将人工智能视为一个有意识形态议程的领域。不幸的是，他补充说，“他们错了。
暂无评论内容