作者： 新智元  来源： [新智元](https://mp.weixin.qq.com/s/pW36gJlJfvfts55sPizNBw)

** ** **新智元报道 **

编辑：桃子

【新智元导读】 终于有人把人工智能风险讲清楚了。****

超级AI会杀人，被吵翻了！

12月ChatGPT、3月GPT-4，OpenAI连番轰炸，让业界人士纷纷恐慌。

紧接着3月底，由马斯克、图灵奖得主Bengio等千名大佬联名，发起暂停超级AI研发的公开信。

2个月后，又有数百位大佬签署了一封联名信，短短22字把AI类比为了传染病和核战争。

关于发起这封联名信的机构，是美国的一家人工智能安全中心（Center for AI Safety）。

近来，来自这个组织的研究人员，就灾难性AI风险做了一个总结性回顾。

论文地址：https://arxiv.org/pdf/2306.12001.pdf

论文中，作者介绍了灾难性人工智能风险的四个主要来源：

• 恶意使用

• 人工智能竞赛

• 组织风险

• 流氓人工智能

与此同时，研究人员还讨论了这些风险可能采取的具体形式，并就如何减轻这些风险提供了实际的建议。

马库斯点评道，灭绝风险不等同于灾难性风险；这是一篇好文章，主要是关于后者。

接下来一起看看吧。

AI风险4大来源

恶意使用 ****

个人和组织可以利用人工智能造成广泛的伤害。威胁包括宣传、审查、监视和生物恐怖主义。

当前，人工智能技术的快速发展增加了生物恐怖主义的风险。

拥有生物工程知识的AI可以促进新型生物武器的创造，并降低获得这些致命武器的障碍。

AI辅助生物武器设计的流行病构成了独特的挑战，因为攻击者比防御者具有优势，并可能对人类构成生存威胁。

2022年3月，研究人员曾发现，人工智能在短短6个小时内发明了4万种可能的新型化学武器。

如果AI能够大规模生产这类化学武器，又不受管控，那无疑是全人类的灾难，所以研究人员立刻报告了技术滥用的潜在风险。

另外，AI智能体不断涌现也是一大风险。当前，AI智能体的发展已经构成独特的威胁，人们可能构建目标危险的人工智能。

GPT-4发布一个月后，开发人员纷纷绕过人工智能安全过滤器，创造了自主的AI智能体，比如爆火的AutoGPT。

甚至，还有旨在摧毁人类、建立全球统治地位，以及获得永生的ChaosGPT。

幸运地是，ChaosGPT并不十分聪明，缺乏制定长期计划、入侵计算机、生存和传播的能力。

然而，考虑到人工智能发展的快速步伐，ChaosGPT的确让许多人看到了更先进的流氓人工智能在不久的将来可能带来的风险。

社会故意散布虚假信息已经是一个严重的问题，削弱了我们对现实的共同理解和两极分化的观点。

人工智能可能被用来产生比以前更大规模的个性化虚假信息，从而严重加剧这个问题。

此外，随着人工智能更善于预测和推动我们的行为，它们将更有能力操纵我们。

对于人工智能恶意使用，研究者建议限制获得危险的AI，优先考虑生物安全，并为开发者建立法律责任。

人工智能竞赛

人工智能的巨大潜力在全球竞争者中造成了竞争压力，他们相互竞争，以争夺权力和影响力。

这种「人工智能竞赛」是由国家和公司驱动的。他们认为必须迅速建立和部署人工智能以确保自己的地位和生存。

通过竞相打造和部署人工智能，企业和军队可能会在安全方面偷工减料，并将决策权让给人工智能，以追求竞争优势。

由于未能正确地区分全球风险的轻重缓急，这种动态使得人工智能的发展更有可能产生危险的后果。

重要的是，这些风险不仅源于人工智能技术的内在本质，而且源于竞争压力。

研究者建议对通用的人工智能进行安全监管、国际协调和公共控制。

组织风险 ****

这就像切尔诺贝利和三里岛一样，糟糕的组织安全可能导致灾难性的人工智能事故。为了减少这些风险，建立人工智能的组织应该采用外部审计、军事级别的信息安全和强大的安全文化。

即使在竞争压力较低的情况下，灾难也会发生。

即使在没有竞争压力或恶意行为者的情况下，诸如人为错误或不可预见的环境等因素仍然可能导致灾难。

「挑战者号」航天飞机灾难表明，组织疏忽可能导致生命损失，即使在没有迫切需要竞争或胜过竞争对手的情况下。

到1986年1月，美国外国之间的太空竞赛已大大减少，但由于判断失误和安全防范措施不足，悲剧事件仍然发生。

流氓人工智能 ****

控制人工智能已经很困难了。失去对高级人工智能的控制可能导致灾难。

最后，人工智能带来的一个独特的风险是流氓人工智能的可能性——这些系统追求的目标违背了我们的利益。

如果一个人工智能系统比我们更聪明，如果我们不能引导它朝有利的方向发展，失去控制，可能会产生严重的后果。

本文中提到的4大人工智能危险值得严重关注。

目前，很少有人致力于降低人工智能的风险。研究人员也不知道如何控制高度先进的人工智能系统，现有的控制方法已经被证明是不够的。

人工智能的内部工作原理还不是很清楚，即使是那些创造它们的人也不清楚，而且目前的人工智能绝不是高度可靠的。

随着人工智能能力继续以前所未有的速度增长，它们可能很快在几乎所有方面超越人类智能，从而迫切需要管理潜在的风险。

Bengio：AI风险常见问题

因为未来有很多不确定性，所以考虑关于不同事件的概率的各种意见可能是有用的，这些事件最终可能因流氓AI而导致人类的灾难。请考虑以下4种说法：

1. 假设我们的社会没有结构性和相关的监管变化，在10年内，我们将知道如何以一个中型公司负担得起的成本建立一个超越人类的AI系统。

2. 假设我们的社会没有结构性和相关的监管变化，而且A是真的，地球上有人会故意指示这样的人工智能去实现一些东西，如果人工智能成功实现其目标，后果将是灾难性的。

3. 假设我们的社会没有结构性和相关的监管变化，而且A是真实的。

地球上有人会无意中训练或给这样的人工智能下达指令，意外地使其自主（例如，有强烈的自我保护目标或发展自己的子目标，如果实现这些目标可能产生灾难性的结果）。

4. 假设我们的社会没有结构性和相关的监管变化，即使A发生，然后B或C发生。

我们将能够利用现有的防御措施保护自己免受灾难（例如，我们目前的法律、警察、军队和网络防御将阻止一个超人的AI造成破坏）。

作者介绍

Dan Hendrycks

Dan Hendrycks在加州大学伯克利分校获得了博士学位，导师是Dawn Song和Jacob Steinhardt。

他曾在芝加哥大学获得了学士学位。目前，他是Center for AI Safety的主任。

Mantas Mazeika

目前，Mantas Mazeika是伊利诺伊大学厄巴纳-香槟分校（UIUC）的博士生。他曾在芝加哥大学获得学士学位。

Thomas Woodside

Thomas Woodside在耶鲁大学学习期间在人工智能安全中心兼职，并对机器学习安全和人工智能治理感兴趣。

参考资料：

https://twitter.com/DanHendrycks/status/1671894767331061763