生存灾难的风险：没有证据表明人工智能可以被控制-DG城市

Yampolskiy博士的深入研究显示，目前没有证据表明人工智能可以被安全控制，导致人们呼吁停止人工智能的发展，直到安全得到保证。他即将出版的新书讨论了生存风险和加强人工智能安全措施的迫切需求。

Yampolskiy博士强调缺乏证据证明人工智能的可控性，并警告所涉及的生存风险，并主张对人工智能开发采取谨慎的方法，重点是安全和风险最小化。

一位研究人员警告说，根据一项广泛的审查，目前没有证据表明人工智能可以被安全控制，如果没有证据表明人工智能可以被控制，就不应该开发它。

Roman V. Yampolskiy博士解释说，尽管人们认识到人工智能控制问题可能是人类面临的最重要问题之一，但它仍然知之甚少，定义不清，研究也很少。

在他即将出版的新书《人工智能：无法解释、不可预测、不可控》中，人工智能安全专家 Yampolskiy 博士着眼于人工智能有可能极大地重塑社会的方式，但并不总是对我们有利。

他解释说：“我们正面临着一个几乎肯定会发生的事件，有可能造成一场生存灾难。难怪许多人认为这是人类有史以来面临的最重要的问题。结果可能是繁荣或灭绝，宇宙的命运悬而未决。

无法控制的超级智能

Yampolskiy博士对人工智能科学文献进行了广泛的审查，并表示他没有发现任何证据证明人工智能可以被安全控制——即使有一些部分控制，也是不够的。

他解释说：“为什么这么多研究人员认为人工智能控制问题是可以解决的？据我们所知，没有证据，没有证据。在开始构建受控人工智能之前，重要的是要证明问题是可以解决的。

“这一点，再加上统计数据表明人工智能超级智能的发展几乎是必然的，这表明我们应该支持一项重大的人工智能安全工作。

他认为，我们生产智能软件的能力远远超过了我们控制甚至验证它的能力。在进行了全面的文献综述后，他认为先进的智能系统永远无法完全控制，因此无论它们提供什么好处，它们总是存在一定程度的风险。他认为，人工智能社区的目标应该是将这种风险降到最低，同时最大化潜在利益。

有哪些障碍？

人工智能（和超级智能）与其他程序的不同之处在于它能够学习新行为、调整其性能以及在新情况下半自主地行动。

让人工智能变得“安全”的一个问题是，当一个超级智能生物变得更有能力时，它可能做出的决定和失败是无限的，因此存在无数的安全问题。仅仅预测问题是不可能的，并在安全补丁中缓解这些问题可能还不够。

与此同时，Yampolskiy解释说，人工智能无法解释它所决定的，和/或我们无法理解给出的解释，因为人类不够聪明，无法理解所实现的概念。如果我们不理解人工智能的决策，我们只有一个“黑匣子”，我们就无法理解问题并减少未来发生事故的可能性。

例如，人工智能系统已经在医疗保健、投资、就业、银行和安全等领域做出决策。这样的系统应该能够解释他们是如何做出决定的，特别是要表明他们是没有偏见的。

Yampolskiy解释说：“如果我们习惯于在没有解释的情况下接受人工智能的答案，基本上将其视为一个预言机系统，我们将无法判断它是否开始提供错误或操纵性的答案。

控制不可控的

Yampolskiy解释说，随着人工智能能力的提高，它的自主性也会增加，但我们对它的控制力会降低，而自主性的增加是安全性降低的代名词。

例如，为了让超级智能避免获得不准确的知识并消除程序员的所有偏见，它可以忽略所有这些知识并从头开始重新发现/证明一切，但这也会消除任何亲人类的偏见。

“不太聪明的代理（人）无法永久控制更智能的代理（ASI）。这并不是因为我们可能无法在所有可能设计的广阔空间中找到超级智能的安全设计，而是因为没有这样的设计是可能的，它不存在。超级智能不是反抗，它一开始就无法控制，“他解释道。

“人类正面临着一个选择，我们是变得像婴儿一样，被照顾但无法控制，还是我们拒绝有一个乐于助人的监护人，但保持掌权和自由。”

他认为，我们可以找到一个平衡点，在这个点上，我们牺牲一些能力来换取一些控制，代价是为系统提供一定程度的自主性。

调整人类价值观

一种控制建议是设计一种精确遵循人类命令的机器，但Yampolskiy指出了可能存在命令冲突，误解或恶意使用的可能性。

他解释说：“人类的控制可能导致矛盾或明显的恶意命令，而人工智能的控制意味着人类不是。

如果人工智能更多地充当顾问，它可以绕过对直接命令的误解和恶意命令的潜在问题，但作者认为，人工智能要成为一个有用的顾问，它必须有自己优越的价值观。

“大多数人工智能安全研究人员都在寻找一种方法，使未来的超级智能与人类的价值观保持一致。价值一致的人工智能在定义上会有偏见，亲人类的偏见，好坏仍然是一种偏见。价值一致的人工智能的悖论在于，当系统试图做他真正想做的事情时，明确命令人工智能系统做某事的人可能会得到一个“不”。人类要么受到保护，要么受到尊重，但不是两者兼而有之，“他解释道。