投资了 50 多家ai初创公司，这位专业投资者人呼吁：必须放缓通用人工智能agi竞赛！ -金沙娱场城app

原标题：投资了 50 多家ai初创公司，这位专业投资者人呼吁：必须放缓通用人工智能agi竞赛！

创造超级人工智能的诱惑是巨大的，这往往会使得人们忘记了其存在的危险。

4月14日，人工智能赛道投资人ian hogarth在其专栏中发表了一篇名为《我们必须放慢通往上帝一般的人工智能的速度（we must slow down the race to god-like ai）》的文章，并警告当前人工智能公司的研究可能接近“一些潜在的风险”：

在没有民主监督的情况下，由一小群私人公司做出可能影响地球上每一个生命的重大决定，这让人感到非常错误。

那些竞相建造第一个真正agi的人有没有计划放慢速度，让世界其他地方对他们正在做的事情有发言权？

horgath表示，之所以将agi称为“上帝般的ai”，是因为在预期的发展路径下，它将成为一台可以自主学习和发展的超级智能计算机，并且可以在不需要监督的情况下理解周围的环境，可以改变周围的世界：

像上帝一样的人工智能可能是一种我们无法控制或理解的力量，它可能会导致人类的淘汰或毁灭。

他说，创建agi是所有领先的人工智能公司的明确目标，但这些公司朝着这个目标前进的速度远远快于所有人的预期：

最近，几家公司在创造上帝般的人工智能方面的竞争迅速加速。他们还不知道如何安全地追求他们的目标，也没有监管。

他们奔向终点线，却不知道另一边是什么。

ian hogarth是人工智能赛道的知名天使投资人，自2014年以来，他在欧洲和美国投资了50多家人工智能初创企业，包括全球融资最高的生成式人工智能初创企业之一anthropic，以及领先的欧洲人工智能防御公司helsing。

horgarth坦言，尽管他在过去投资了众多人工智能初创企业，但他始终存在着担忧，而这种担忧在今年openai的成功后固化为了一种恐惧。

他也曾向研究人员发出预警，但与该领域的许多人一样，相比自己应有的责任，这些研究人员“也被迅速的发展所吸引”。

潜在的危险

horgath指出，当前agi的游戏和聊天功能使公众忽略了人工智能这项技术更严重的潜在危险。

早在2011年，deepmind的首席科学家shane legg就将人工智能构成的生存威胁描述为“本世纪的头号风险”：

如果一台超级智能机器决定摆脱我们，我认为它会非常有效地做到这一点。

他还提到2021年，加州大学伯克利分校计算机科学教授stuart russell在演讲中举了一个联合国要求agi帮助降低海洋酸化的例子：

联合国要求副产品是无毒的，不会伤害鱼类。作为回应，人工智能系统提出了一种自我增殖的催化剂，实现了所有既定的目标。

但随之而来的化学反应消耗了大气中四分之一的氧气。我们都会死得缓慢而痛苦。

如果我们把错误的目标交给一台超级智能机器，我们就会制造一场我们注定会输的冲突。

人工智能造成的更切实的伤害的例子已经出现了。最近，一名比利时男子在与聊天机器人chai交谈后自杀身亡。

而另一家提供聊天机器人服务的公司replika对其程序进行更改时，一些用户感觉像“失去了最好的朋友”，经历了痛苦和失落感。

此外，人工智能现在可以复制一个人的声音甚至脸，这使得其诈骗和提供虚假信息的可能性很大。

为什么要创造？

如果存在潜在的灾难性风险，这些公司为什么要竞相创造“上帝般的人工智能”？

horgath表示，根据他与许多行业领袖的谈话以及他们的公开声明，似乎有三个主要动机：

他们真诚地相信，成功将对人类产生巨大的积极影响。

他们说服自己，如果他们的组织控制着像上帝一样的人工智能，结果将对所有人都更好。

最后，是为了子孙后代。

成为第一个创造非凡新技术的人的诱惑是巨大的。在成就与潜在危害上，人工智能的开发在某种程度上可以类比原子弹。

1981年，弗里曼·戴森在纪录片中描述了他参与核弹研发时的心理：

对于一个科学家，核武器的闪光是“不可抗拒（irresistible）”的。

它给人们一种无限力量的错觉（an illusion of illimitable power）。

而在2019年，openai创始人sam altman在接受采访时，也引用了原子弹之父奥本海默的话：

技术的出现是因为它是可能的（technology happens because it is possible）。

治理

horgath说，他理解人们为什么愿意相信“上帝般的”人工智能，这意味着它或许能够解决人类目前面临的最大挑战：癌症、气候变化、贫困等。但即便如此，在没有适当治理的情况下继续下去的风险也太高了。

“不幸的是”，他说，“我认为比赛还会继续。这可能需要一个重大的滥用事件——一场灾难——来唤醒公众和政府。”

他认为，与人工智能监管相关的一个有意义的类比是工程生物学：

首先考虑生物病毒的“功能获得”研究。这一活动受到严格的国际法规的约束，在实验室生物安全事件发生后，有时因暂停而停止。这是最严格的监督。

相比之下，新药的开发是由fda这样的政府机构监管的，新的治疗方法要经过一系列的临床试验。我们在监管方式上存在明显的不连续，这取决于系统性风险的水平。

在我看来，我们可以用与功能获得研究相同的方式接近“上帝般的”agi系统，而狭隘有用的人工智能系统可以像新药一样受到监管。

他表示，支持各国政府实施重大监管，并制定切实可行的计划，将那些专注于一致性和安全性的人工智能初创企业转变为类似欧洲粒子物理研究所的组织。

最后，horgath仍然强调，人类并非无力延缓这场竞赛：

如果你在政府工作，那就举行听证会，在宣誓的情况下询问人工智能的领导者，他们开发agi的时间表。要求他们在测试当前模型时发现的安全问题的完整记录。要求他们提供证据，证明他们理解这些系统是如何工作的，以及他们对实现一致性的信心。邀请独立专家参加听证会，对这些实验室进行交叉检查。

如果你在一个大型实验室工作，试图构建“上帝般的”人工智能，就所有这些问题询问你的领导。如果你在领先的实验室工作，这一点尤其重要。

到目前为止，人类仍然是学习过程的必要组成部分，这是人工智能进步的特征。

总有一天，会有人想出办法把我们从循环中剔除，创造出一个像上帝一样能够无限自我完善的人工智能。到那时，可能就太晚了。