Tenyx 旨在解决 LLM 的灾难性遗忘问题

图片[1]-Tenyx 旨在解决 LLM 的灾难性遗忘问题-DG城市

为了充分利用大型语言模型 (LLM),企业必须通过使用特定于领域的数据对其进行微调来自定义它们。这有助于完善模型,使其生成相关的输出。

然而,对预训练模型进行微调会带来一个重大的、潜在的危险问题:在与原始训练数据集不同的分布上磨练模型会将其权重重新定向到新的输入。

展望未来,该模型最终会空白它在训练期间记忆的信息——这就是所谓的“灾难性遗忘”。这降低了LLM的知识和推理能力,从而降低了其性能和可用性。

语音 AI 代理公司 Tenyx 今天宣布推出一种微调方法,以帮助解决这一突出问题。该平台可帮助企业在不影响基础知识或保护措施的情况下调整 LLM 以满足其独特需求。

“灾难性的遗忘一直是机器学习社区长期存在的挑战,”Tenyx首席执行官兼创始人Itamar Arel在接受VentureBeat独家采访时表示。“多年来,人们一直认为,人们总是可以继续训练新数据,同时也包括旧数据。

失去关键能力,暴露于有害和有偏见的内容
Arel 说,微调作为“旨在利用 LLM 的方法库”中的关键工具,在企业用例中越来越受欢迎。

然而,通过标准技术微调LLM的数据科学家通常无法访问训练模型的完整数据集,并且传统方案无法解决遗忘效应的风险。这会导致关键能力的丧失,以及可能暴露于有害评论(这可能会造成法律责任)。

例如,Arel 说,LLaMA 7B 可以用作客户服务聊天机器人的引擎,例如酒店预订代理。但是,由于它是现成的,并且没有针对这个特定领域进行优化,因此数据科学家需要根据人类代理和寻求预订酒店房间的客户之间的一组典型对话对其进行微调。这可能会使用传统的微调技术,例如低秩适应 (LoRA)。

很快,知识(例如“从酒店到机场的距离是多少?”的答案)和推理能力(例如,正确推断诸如“我将于7月<>日抵达四晚”之类的陈述)都可能丢失。

“由此产生的微调模型可能对特定输入做出更好的反应,但可能会突然在常识和推理任务方面产生错误或可能有偏见的答案,”Arel说。

在另一种情况下,法学硕士使用英语句子语料库进行训练,使其能够推理和回答常识问题。稍后对结构和句法不同的编码语言数据集进行微调将改变模型捕获信息、转换信息和输出新信息的方式。

“这样的变化将导致网络失去产生100%连贯的英语语句的能力,”Arel说。

LoRA的局限性
参数高效的微调技术 LoRA 因其低内存和计算要求而被广泛采用.

然而,阿雷尔解释说,这从来都不是为了减轻灾难性的遗忘。当权重作为模型训练的一部分在数据分布上更新时,与原始训练数据不匹配,因此很难预测由此产生的扭曲。

“我们的结果表明,尽管LoRA在计算效率上很高,但在诱导记忆和推理损失方面,它也存在同样的缺点,”Arel说。

模型的复杂性也使识别和修复失真变得困难。此外,通过 LoRA 和其他现有方法进行微调可能会削弱或完全收回通过人类反馈强化学习 (RLHF) 建立的安全措施,这对于防止有偏见和有害的模型输出至关重要。

“重要的是要注意,RLHF也是一个训练程序,”Arel说,“因此,在微调过程中,知识和推理能力受到的影响一样大。

现有的缓解过程不一致、不可靠
目前缓解灾难性遗忘的一种方法是依赖大量机器学习 (ML) 工程师,他们的任务是尽可能限制微调,并依靠及时的工程来实现所需的性能。

然而,这个过程是不可靠的,而且在模型之间不一致,并且(至少到目前为止)没有关于它如何、为什么以及何时起作用的理解。在进行微调以在最佳时间点“提前停止”该过程时,还会执行量化微调模型的知识、推理能力和安全性的评估集。

“这些解决方案成本高昂,需要ML工程师的手动工作,而且非常耗时,”Arel断言。“没有已知的方法可以自动化这个人为密集型的过程。

Tenyx在安全性、熟练度和知识方面取得了显著的进步

图片[2]-Tenyx 旨在解决 LLM 的灾难性遗忘问题-DG城市

Arel 解释说,Tenyx 微调方法试图确定可以更新的模型参数子集,以便对新数据进行学习,同时,模型保留了几乎所有先前学习的输入输出映射。

然后,该平台将微调期间对神经元所做的更新投射到一个空间中,在该空间中,它们不会干扰它们在预训练的数据分布中捕获信息的方式。

“换句话说,通过分析经过训练的LLM,我们的方法能够确定如何以及哪些权重可以更新,以便在实现对新数据的学习时发生最小的灾难性遗忘,”Arel说。

他解释说,Tenyx的平台是基于对初始LLM训练期间形成的几何表示的新颖数学解释。它捕获了为当今 LLM 供电的变压器网络中表示的数据的几何形状。

这种几何解释允许Tenyx选择网络权重的子集并限制所选神经元的更新,“有力地保证了所有先前学习的信息都被有效地保留下来,”Arel说。

该方法保留了 RLHF 保护,并与监管变化保持一致,特别是白宫关于安全、可靠和可信赖 AI 的行政命令。

通过在试点研究中对流行的企业和开源微调算法进行评估,Tenyx 展示了以下能力:

安全性:Tenyx 微调减少了 11%,而 OpenAI 的 -66%、Together AI 的 -94% 和 LoRA 的 -91%。
熟练程度:OpenAI 的 GPT 3.5 Turbo 最初更熟练,因为模型有更多的参数,Tenyx 的 Llama-2 7B 在微调后是最熟练的。
知识:Tenyx 以 3% 的损失减轻了灾难性的遗忘,而 OpenAI 的损失为 10%,Together AI 的损失为 40%,LoRA 的损失为 43%。
“灾难性遗忘是深度学习中一个众所周知的问题,它仍然影响着大型的、有能力的模型,”斯坦福大学副教授诺亚·古德曼(Noah Goodman)说。“当使用来自新领域的数据进行训练时,模型通常会在该领域上表现更好,同时无意中修改了早期功能。

他补充说:“Tenyx拥有一支强大的研究团队,他们正在探索应对这一艰巨挑战的重要新想法。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容