openai宫斗第二季，ai即将取代人类？（上） -金沙娱场城app

经常关注财经新闻的朋友们肯定对去年openai的“宫斗”印象深刻。

2023年11月17日，openai首席科学家伊利亚（ilya sutskever）联合董事会其他成员发动“政变”，突然宣布解雇ceo奥特曼（sam altman）和总裁布罗克曼（greg brockman）。

此后这一“宫斗”大戏经过多次反转，仅仅过了几天，奥特曼最终重返openai，董事会成员集体辞职。

半年后，这一“宫斗”大剧的第二季正式上演。

5月15日，就在gpt-4o发布会之后，销声匿迹半年之久的伊利亚在社交平台上发文，宣布“决定离开openai”。

同日，openai超级对齐团队负责人之一的jan leike（简·雷克）也宣布离开openai。

据报道，openai安全团队在今年一至三月，已相继有4位安全团队的人离职。

本月伊利亚、雷克和另外几位对齐团队的人一起离职后，openai解散了超级对齐团队。

该团队剩余员工将重新分配岗位，超级对齐工作也将以松散的研究小组形式继续存在。

此次事件后不久，当地时间6月4日，13位来自openai和google的现任及前任员工联合发布了一封公开信。

为这封信署名背书的还有三位在ai领域极具影响力的巨头。

即“ai教父”辛顿（geoffrey hinton）、因开创性ai研究获图灵奖的本吉奥（yoshua bengio）和ai安全领域的学者罗素（stuart russell）。

在这封广受关注的信中，这些员工表达了对人工智能技术潜在风险的严重担忧。

并呼吁相关公司采取更加透明和负责任的措施来应对这些风险。

我们常说透过现象看本质。

作为科学与商业领域最顶尖的精英，他们的故事不应简单以“宫斗剧”视之，必定有更深层次的东西。

朋友们好，我是胡说，今天我们来谈谈：openai的“宫斗”背后蕴含了哪些信息？

在更进一步之前，简短介绍下两方的代表人物是必要的。

想必大家对作为公司ceo和门面的奥特曼都比较熟悉。

他是openai的联合创始人，并在公司的发展中起到核心作用。

作为“政变”另一方首席科学家的伊利亚，相对来说则不那么为公众所知。

实际上同为联合创始人的他，是ai领域的大牛，也是openai不可或缺的人物。

伊利亚1985年出生于苏联，在以色列长大。

2013年在加拿大多伦多大学获得计算机科学博士学位，师从2018年图灵奖得主、“深度学习三巨头”之一的辛顿。

过去十年的ai浪潮中，深度卷积神经网络alexnet、时序预测回归模型seq2seq、主流机器学习框架tensorflow、ai围棋机器人alphago以及openai的gpt系列模型和dall·e，这些具有里程碑意义的成果都有他的贡献。

可以说，他的工作不仅推动了openai的发展，也对整个人工智能领域产生了深远的影响。

同是openai的创始人和核心人物，奥特曼和伊利亚最终分道扬镳，实在是让人唏嘘不已。

正如上面所讲，两人之间不应以简单的“宫斗剧”视之。

回溯古今中外的宫廷政变，都不会是什么个人恩怨，一定是路线之争。

双方的路线矛盾在资源的约束下已经激化到无法调和，这才以激烈的政变形式展现出来。

奥特曼和伊利亚也是如此，两者的路线之争主要集中在ai发展带来的安全问题上。

这也是2021年以来，openai长期存在的矛盾主线：安全专家不满奥特曼激进推动ai技术、加速商业化，但对安全问题重视不足。

将其置于硅谷左右翼思潮兴起和博弈的背景下，可划分为ea（effective-altruism，即有效利他主义）和e/acc（即有效加速主义）两个派别。

ea核心在于最大化影响和理性决策，认为包括ai在内的技术应该用来解决就业、疾病和贫困等社会问题。

即其目标是最大化投入资源为全人类谋福祉的效果，同时强调对各种做法进行科学研究，以确定其实际效果。

e/acc的核心在于加速技术进步，认为技术进步无法阻止，伴随技术革新而至的是个美妙未来。

它强调利用技术创新和资本主义的力量来推动社会变革，甚至是颠覆现有的社会秩序。

近几年，随着ai技术迎来突破性进展，ea和e/acc两个阵营的观念pk也日趋激烈。

在ai领域，ea的代表性人物辛顿曾多次对外警告，ai会毁灭人类，伊利亚正是其得意弟子，也是ea派新的扛旗者。

奥特曼显然不是ea派，虽然他也提出过完善ai产品监管，但他是openai高层中率先主张商业化的人。

另一方面，在公司发展初期，业务规模、ai的能力都有限，因此有限的资源可以同时满足两个阵营的需求。

而随着chatgpt的发布，访问人数的增多，-在对于算力的旺盛需求下，势必带来资源的掣肘。

再加上竞争者的紧密追赶，原来的岁月静好就不复存在，必须决出一个路线以便于集中资源，继续前进。

具体到openai的具体事务上，两个阵营分歧的焦点就在于产品的发布和安全问题的优先级上。

以伊利亚为代表的安全主义，认为必须先确保ai不会威胁人类，再公开发布产品。

而以奥特曼为代表的加速主义，则希望加速ai的普及，从而让更多人使用ai造福世界。

也即是说，安全主义主张先验证安全，再发布，而加速主义则主张先扩大市场，再根据测试结果与反馈进行调整。

此前发布的gpt-4o，就是典型的加速主义做派。

发布会之前，openai匿名发布了性能强大的模型“im-also-a-good-gpt2-chatbot”，引起了开发者社区的广泛猜测与讨论。

事后证明，这就是gpt-4o的前身，而奥特曼故弄玄虚的目的，正是想让人帮他做测试。

gpt-4o的发布标志着加速主义占据了决定性优势，伊利亚等的离职则表明加速主义取得了路线之争的最终胜利。

虽然已告一段落，但openai的“宫斗”仍然引起人们对ai风险和安全问题的思考。

近期，13个openai和deepmind的前员工和现员工发出的公开信，更是公开预警ai将带来的风险。

他们要求美国的各类ai公司建立“举报人保护措施”，保证研究人员具有警告人工智能危险的“权利”，而不必担心遭到报复。

伊利亚，以及这些行业精英们看到了什么才使得他们那么急切地呼吁关注ai的风险和安全问题？

我认为，大概率是因为agi（artificial general intelligence，通用人工智能）甚至超级人工智能已经渐行渐近。

注：agi是指机器能够完成人类能够完成的任何智力任务的能力，即能力与人类相当；超级人工智能则是一种超越人类智能的人工智能，可以比人类更好地执行任何任务。

至少，人们很难从理论上去反驳agi不会到来或者不会很快到来。

奥特曼曾说他不相信对gpt-4只是在进行统计相关性分析的贬损。

他说，“如果你进一步追问这些批评者，他们不得不承认，这就是他们自己大脑所做的一切.…事实证明，通过在大规模上做简单的事情，会涌现出一些新的性质。”

鉴于我们对大脑的工作原理没有接近完整的理论，奥特曼的观点很难评估对错。

如果深究gpt-4及其后继版本的工作原理，自然可以从基本的结构和规则中引出引人注目的复杂性。

而且他的创造力来自于其对事物间共同结构的理解，通过发现这些共同结构，高效地编码信息，并进行类比，这也正是我们的大脑所做的。

因此如果gpt真的做着和我们大脑一样的事，你就很难反驳假以时日agi不会到来。

通过多模态学习（结合语言、图像、视频和声音等多种信息），模型可以更好地理解空间关系和物体，并减少对语言的依赖。

拥有更多、更贴近客观世界的训练数据，模型也能从中显著提高其推理能力和理解能力。

至少，目前还无人知晓gpt-4o的后继版本将以多快的速度展现何种程度的新能力，它们现在正在大量吞噬互联网文本进行快速迭代。

关于agi何时能够实现，我们可以通过人们的猜测来作为参考。

在线预测平台metaculus一直在追踪人们对agi何时问世的猜测。

在三年半前，它追踪到的猜测中位数是2050年左右，而chatgpt发布之后，这一数字则一直徘徊在2032年左右。

openai前研究员利奥波德·阿申布伦纳（leopold aschenbrenner）则更进一步，认为到2027年产生agi非常合理。

而且，ai的发展并不会仅仅停留在达到人类顶尖水平。

拿alphago来说，它在学习了人类最优秀的棋谱后，通过自我对弈很快就能下出超越人类的、极具创造性和复杂度的棋步。

阿申布伦纳还认为，在2030年左右，人类就有可能实现极其强大的超级ai系统。

届时，运行的agi系统数量甚至可能超过人类，并且它们能在几周时间内，获得相当于人类几十亿年的经验。

在agi和超级人工智能似乎触手可及的情况下，胡说认为提前思考它所带来的影响是明智和必要的。

如果有一天，某个超级智能在某个云服务器中出现，这对人类文明可能意味着什么。

自计算机革命初期以来，ai就被神话化为一种注定会带来深刻变革的技术。

由此产生了一整套关于ai的想象，它们会以这样或那样的方式终结历史。

有些想象中ai是神一般的存在，其思考速度和质量都将超越人类。

它们能迅速掌握知识，编写代码，阅读研究论文、实现认知工作的自动化、加速科技进步等。

它们也能解决机器人问题、替代人类劳作、促进人类健康、加速工业和经济发展等等。

在这个景象里，它们擦干了每一滴人类的眼泪，治愈了病人，修复了我们与地球的关系，然后带来了无限丰富的资源和美好事物。

另一些想象中ai则化身恶魔，控制、玩弄着人类。

它们将人类中除了少数精英外，都变成了奴隶，或者制造杀人机器人、操纵公众舆论和大规模监视等。

在这个景象里，它们最终取代人类将人类推向灭绝，完成了硅基生命取代碳基生命的进程。

总之，无论从哪个角度看，后超级智能时代都可能是人类历史上最不稳定、最紧张、最危险，同时也是最具变革性的时期之一。

那么，站在“智能爆炸”前夕的我们又需要以什么心态去面对呢？

在胡说看来，不管ai最终会否取代人类，在当下我们都需要推演它可能带来的冲击。

目前来看，agi对我们的冲击至少包括敌意、误解、突变3个层面。

首先最负面的影响来自于敌意，即是指一个远超人类能力的ai，故意进行颠覆或取代人类的试图。

这个层面对人类来说最危险，也最难防范。

在更进一步之前，让我们把目光放回到2016年3月10日的李世石-alphago人机大战的第二局。

彼时，在前36步棋中，双方你来我往，局势紧张而胶着。

在第37步时，alphago的一步棋不仅让李世石感到困惑，也让全球围棋界认为其“搞砸了”。

然而，事后证明，也正是这一步成为了alphago的制胜棋。

现在，让我们试想一下，如果有一个敌意的超级ai，要蓄意制造一个灭绝人类的计划，会不会像第37步棋一样瞒过所有人呢？

对一个超越人类的敌意智能体来说，这不但是可能的，简直是难以躲过的。

其次，即便agi对人类没有敌意，完全遵循人类为其设定的价值观判断标准，然而这仍有可能存在对人类价值观的“误解”。

这个误解至少包括四个可能的内涵。

第一个是人类到底是否存在一个“统一”的价值观，经常会发生的情况是，有些事情一类人认可，但另一类人就不一定认可。

第二个是谁来决定正确的价值观，人类的目标存在于我们每个人都心中，存在于多种多样的社会群体中，由哪一个群体决定呢。

第三个则是遇到道德困境怎么办，诸如电车难题的道德困境这种人类两难的价值观该如何期待ai做出选择呢。

最后一个则是，即便决定了一个价值观，ai也可能产生误解或偏差，从而发生意想不到的结果。

ai学者罗素曾经就“误解”举过一个非常贴切的例子。

设想你让ai解决因二氧化碳含量升高而导致了海洋快速酸化的环境问题。

于是，ai开发了一种新的催化剂，可以促进海洋和大气之间快速进行化学反应，从而让海洋的ph值恢复到正常水平。

但不幸的是，这个反应中同时会消耗大气中的氧气，结果我们只能痛苦地因窒息而死。

最后，即便agi没有敌意也没有误解，agi本身的发展就会对人类社会的组织形式造成各种各样的冲击。

这是因为ai革命不同于以往的突破性技术变革，它更像是 “一种新型社会”，造成诸如失业、社会组织的变化等等各种问题。

其中最突出的就是就业问题，这也是每次技术革命爆发之初最为人们担忧的问题。

虽然很多人认为虽然有很多岗位会消失，但也会有更好的工作岗位取代过去的工作。

这就如《pandaemonium (1660–1886)：当代观察者眼中的机器时代到来》一书描述的那样，卢德主义者（ luddite ）对永久性大规模失业的恐惧从未成真。

然而，ai展现出的涌现能力与人类的能力如此相似，以至于人们不禁要怀疑，过去是否仍能指引未来。

回溯历史，如果你穿越到了1900年的一匹白马身上，面对新兴的汽车，你当然可以用历史上卢德主义者的失算安慰自己。

但随后的120余年里，驮马被汽车永久性取代了，那你怎么就能笃定gpt-10不会永久取代我们的工作呢。

在这种路径下，是否会变成少数精英站在塔尖，其他人慢慢演变为宠物人的可怕场景呢？

即便不会如此悲观，人们工作被取代后如何获取自己存在的意义也是不得不考虑的，毕竟人不只是物质的，也是精神的。

人类长期以来一直是智慧的先锋，自诩为 “宇宙理解自己” 的本体。

如果人工智能代表我们进行最困难的思考，我们所有人可能都会失去自我能动性。

或许那个时候，相比机器，如何更擅于“做人”、“懂得如何生活”才是我们每个人绕不开的问题。

至此，我们已经回顾了openai“宫斗”背后的核心原因和agi带给人类的真正挑战。

本来还想继续探讨当下面对ai的安全体系和作为投资人的思考，只不过文章太长了，我们就将其放在下期讨论。

让我们下期再见！

温馨提示：本文仅是笔者思考内容的记录，仅供读者参考，不作为任何投资建议；投资有风险，入场需谨慎。