武器化 LLM 的时代已经到来

图片[1]-武器化 LLM 的时代已经到来-DG城市

微调数字鱼叉式网络钓鱼攻击以使用大型语言模型(LLM)入侵英国议会议员的想法听起来更像是一部《碟中谍》电影,而不是牛津大学的一项研究。

但这正是一位名叫朱利安·哈泽尔(Julian Hazell)的研究人员能够模拟的,他补充了一系列研究,这些研究完全标志着网络威胁的巨大转变:武器化LLM的时代已经到来。

通过提供使用 ChatGPT-3、GPT-3.5 和 GPT-4.0 创建的鱼叉式网络钓鱼电子邮件的示例,Hazell 揭示了一个令人不寒而栗的事实,即 LLM 可以在快速迭代中个性化上下文和内容,直到它们成功触发受害者的响应。

“我的研究结果表明,这些信息不仅现实,而且具有成本效益,每封电子邮件的生成成本仅为一美分,”Hazell 在 2023 年 5 月发表在开放获取期刊 arXiv 上的论文中写道。从那时起,在随后的六个月中,该论文已被超过23篇其他论文引用,这表明该概念正在研究界受到关注和建立。

所有这些研究加起来都表明一件事:LLM 能够被流氓攻击者、网络犯罪、高级持续威胁 (APT) 和急于推动其经济和社会议程的民族国家攻击团队进行微调。在 ChatGPT 之后,FraudGPT 的快速创建表明了 LLM 的致命性。目前的研究发现,GPT-4.Llama 2 和其他 LLM 正在加速被武器化。

武器化LLM的迅速崛起敲响了警钟,在提高人工智能安全性方面需要做更多的工作。

OpenAI 最近的领导力大戏凸显了为什么这家初创公司需要在每个系统开发生命周期 (SDLC) 阶段推动更高的模型安全性。Meta 借助 Purple Llama 开启了安全生成式 AI 的新时代,这反映了在开发和使用过程中保护 LLms 所需的全行业协作类型。每个 LLM 提供商都必须面对这样一个现实,即他们的 LLM 可以很容易地被用来发起毁灭性的攻击,并在开发过程中立即开始强化它们以避免这些风险。

武器化 LLM 的入口

LLM是目前所有新兴技术中最锋利的双刃剑,有望成为任何攻击者都可以快速学习并最终掌握的最致命的网络武器之一。.首席信息安全官需要有一个可靠的管理计划。

包括 BadLlama: cheaply removing safety fine-tuning from Llama 2-Chat 13B 和 A Wolf in Sheep’s Clothing: Generalized Nested Jailbreak Prompts Can Fooling Large Language Models 在内的研究很容易说明 LLM 如何面临被武器化的风险。来自印度勒克瑙信息技术研究所和 Palisade Research 的研究人员合作开展了 BadLlama 研究,发现尽管 Meta 在微调 Llama 2-Chat 方面做出了巨大努力,但他们“未能解决公开发布模型权重所带来的关键威胁向量:攻击者只会对模型进行微调以完全删除安全训练。

BadLlama 研究团队继续说道,“虽然 Meta 对 Llama 2-Chat 进行了微调以拒绝输出有害内容,但我们假设公众对模型权重的访问使不良行为者能够廉价地规避 Llama 2-Chat 的保护措施,并将 Llama 2 的能力武器化用于恶意目的。我们证明,在保留其一般功能的同时,可以以不到 200 美元的价格有效地取消 Llama 2-Chat 13B 的安全微调。我们的结果表明,当模型权重公开发布时,安全微调在防止误用方面是无效的。

WM Environmental Services 的首席信息安全官 (CISO) Jerich Beason 强调了这一担忧,并就组织如何保护自己免受武器化 LLM 的侵害提供了见解。他的 LinkedIn 学习课程《保护生成式 AI 在组织中的使用》提供了结构化的学习体验,并就如何从生成 AI 中获得最大价值,同时最大限度地减少其威胁提出了建议。

Beason在他的课程中建议,“忽视安全和Gen AI可能会导致违规行为、法律纠纷和经济处罚。这对品牌声誉和客户信任的影响不容忽视。

LLM 被武器化的众多方式中的一些
LLM 是 rouge 攻击者、网络犯罪集团和民族国家攻击团队的首选新强大工具。从越狱和逆向工程到网络间谍活动,攻击者巧妙地修改 LLM 以达到恶意目的。研究人员发现了广义嵌套越狱提示如何欺骗大型语言模型,提出了ReNeLLM框架,该框架利用LLM生成越狱提示,暴露了当前防御措施的不足之处。

以下是当今 LLM 被武器化的众多方式中的几种:

越狱和逆向工程以否定 LLM 安全功能。创建 ReNeLLM 框架的研究人员表明,可以完成涉及对 LLM 进行逆向工程以降低其安全功能有效性的越狱过程。在他们的 Bad Llama 研究中发现漏洞的研究人员表明 LLM 容易受到越狱和逆向工程的影响。
网络钓鱼和社会工程攻击:牛津大学的研究人员对如何快速、轻松地创建有针对性的鱼叉式网络钓鱼活动并将其发送给英国议会的每一位议员进行了令人不寒而栗的模拟,这仅仅是一个开始。今年早些时候,Zscaler 首席执行官 Jay Chaudhry 在 Zenith Live 2023 上向观众讲述了攻击者如何使用他的声音的深度伪造从该公司在印度的业务中勒索资金。深度伪造已经变得如此普遍,以至于国土安全部发布了一份指南,即增加深度伪造身份的威胁。
品牌劫持、虚假信息、宣传。 事实证明,LLM是多产的引擎,能够重新定义企业品牌和传播错误信息宣传,所有这些都是为了改变选举和国家的政府形式。自由之家、乔治城大学的OpenAI和布鲁金斯学会正在完成研究,展示人工智能如何有效地操纵公众舆论,造成社会分裂和冲突,同时破坏民主。将审查制度结合起来,包括破坏自由和开放的新闻和宣传误导性内容,是专制政权最喜欢的策略。
生物武器的发展。来自麻省理工学院媒体实验室、SecureBio、麻省理工学院斯隆管理学院、哈佛大学设计研究生院和 SecureDNA 基金会的一组研究人员合作,研究了易受攻击的 LLM 如何帮助民主化获得两用生物技术。他们的研究发现,LLM可以帮助合成生物制剂或推进具有有害意图的基因工程技术。研究人员在他们的总结结果中写道,一旦可信地识别出大流行类药物,即使对很少或没有接受过实验室培训的人来说,它们也会被广泛使用。
网络间谍活动和知识产权盗窃,包括模型。用于窃取竞争对手的知识产权、研发项目和专有财务业绩的网络间谍服务在暗网和隐蔽的电报频道上做广告。网络犯罪集团和民族国家攻击团队使用 LLM 来帮助冒充公司高管并访问机密数据。“模型安全性不足是与生成式人工智能相关的重大风险。如果保护不当,模型本身可能会被窃取、操纵或篡改,从而导致未经授权的使用或创建假冒内容,“Beason 建议道。
不断变化的法律和道德影响。 LLM 如何接受数据训练,他们接受哪些数据训练,以及他们如何通过人为干预不断进行微调,这些都是任何采用这项技术的组织面临的法律和道德挑战的来源。被盗或盗版的LLM被武器化的道德和法律先例今天仍在形成

应对武器化LLM的威胁
在不断增长的研究基础中,追踪LLM如何可能和已经受到损害,三种核心策略成为应对这些威胁的最常见方法。它们包括以下内容:

在 SDLC 流程的早期定义高级安全对齐。OpenAI 的快速发布速度需要与 SDLC 中更强大的左移安全策略相平衡。证据 OpenAI 的安全流程需要努力,包括如果有人不断输入相同的文本字符串,它将如何反刍敏感数据。所有 LLM 都需要更广泛的对抗训练和红队练习。

动态监控和过滤,使机密数据远离 LLM。 研究人员一致认为,需要更多的监控和过滤,特别是当员工使用LLM时,与模型共享机密数据的风险会增加。研究人员强调,这是一个不断变化的目标,攻击者在绕过防御方面占了上风——他们的创新速度比运营最好的企业更快。应对这一挑战的供应商包括 Cradlepoint Ericom 的 Generative AI Isolation、Menlo Security、Nightfall AI、Zscaler 等。Ericom 的生成式 AI 隔离的独特之处在于它依赖于与 Ericom 云中的组织网络环境隔离的虚拟浏览器。数据丢失保护、共享和访问策略控制在云中应用,以防止机密数据、PII 或其他敏感信息提交给 LLM 并可能暴露。

LLM开发中的协作标准化是赌注。 Meta 的 Purple Llama Initiative 反映了通过与领先提供商合作确保 LLM 开发的新时代。BadLlama研究确定了LLM中的安全协议是多么容易被规避。研究人员指出,LLM护栏很容易被破坏,这证明需要一种更统一的、全行业的方法来标准化安全措施。

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容