人工智能（AI）超级智能会突然出现，还是科学家会看到它的到来，并有机会警告世界？这是一个最近受到广泛关注的问题，随着 ChatGPT 等大型语言模型的兴起，随着其规模的增长，这些模型已经获得了巨大的新能力。一些研究结果指出了“涌现”，即人工智能模型以一种敏锐且不可预测的方式获得智能的现象。但最近的一项研究称这些情况为“海市蜃楼”，即系统测试方式产生的人工制品，并表明创新能力反而会逐渐建立起来。
“我认为他们在说’没有发生任何神奇的事情’方面做得很好，”Mozilla基金会的计算机科学家Deborah Raji说，她研究人工智能的审计。这是“一个非常好的、扎实的、基于测量的批评”。
这项工作于上周在新奥尔良举行的NeurIPS机器学习会议上发表。
越大越好
大型语言模型通常使用大量文本或其他信息进行训练，它们通过预测接下来会发生什么来生成现实的答案。即使没有明确的培训，他们也能翻译语言、解决数学问题、写诗或编写计算机代码。模型越大（有些模型有超过一千亿个可调参数），其性能就越好。一些研究人员怀疑，这些工具最终将实现通用人工智能（AGI），在大多数任务上与人类相当，甚至超过人类。
这项新研究以多种方式测试了涌现的说法。在一种方法中，科学家们比较了 OpenAI 的 GPT-3 模型的四种尺寸将四位数相加的能力。从绝对精度来看，第三和第四尺寸模型的性能差异从接近 0% 到接近 100%。但是，如果考虑答案中正确预测的数字数，这种趋势就不那么极端了。研究人员还发现，他们还可以通过给模型更多的测试问题来抑制曲线 – 在这种情况下，较小的模型在某些时候会正确回答。
接下来，研究人员研究了谷歌的LaMDA语言模型在几项任务上的表现。那些显示出明显智力突然跃升的答案，例如发现讽刺或翻译谚语，通常是多项选择题，答案分别分为对错。相反，当研究人员检查模型对每个答案（一个连续指标）的概率时，出现的迹象消失了。
最后，研究人员转向了计算机视觉，在这个领域中，出现的说法较少。他们训练模型压缩然后重建图像。通过仅仅为正确性设定一个严格的阈值，它们就可以诱发明显的涌现。“他们在设计调查的方式上很有创意，”西雅图华盛顿大学研究人工智能和常识的计算机科学家Yejin Choi说。
没有排除任何可能性
该研究的合著者、加利福尼亚州帕洛阿尔托斯坦福大学的计算机科学家Sanmi Koyejo表示，鉴于一些系统表现出突然的“相变”，人们接受涌现的想法并非没有道理。他还指出，这项研究不能完全排除大型语言模型的可能性，更不用说在未来的系统中了，但他补充说，“迄今为止的科学研究强烈表明，语言模型的大多数方面确实是可预测的”。
Raji 很高兴看到社区更加关注基准测试，而不是开发神经网络架构。她希望研究人员走得更远，询问这些任务与实际部署的关系如何。例如，像 GPT-4 所做的那样，在有抱负的律师的 LSAT 考试中取得优异成绩是否意味着模特可以充当律师助理？
这项工作还对人工智能安全和政策产生了影响。“AGI人群一直在利用新兴能力的主张，”Raji说。无端的恐惧可能导致令人窒息的法规或转移人们对更紧迫风险的注意力。“这些模型正在改进，这些改进是有用的，”她说。“但他们还没有接近意识。
暂无评论内容