昨晚,油管千万级大V The Diary Of A CEO放出了,与图灵奖、诺贝尔奖获得者,被誉为AI教父的Geoffrey Hinton最新深度专访。,

二人以对话形式主要探讨了AI的发展、安全、应用;虽然AI存在一定的风险,但在帮助人类提升科研、工作、生活水平质量等方面是非常高效。当然也会抢走一部分人的工作,从而创造一些全新的职位。

OpenAI作为本世代AI革命的发起者和领导者,也出现在了本次对话中。Hinton还谈到了他最得意的弟子,OpenAI联合创始人兼首席科学家Ilya Sutskever,以及最近发展势头超猛的AI Agent智能体。

自动播放

这段专访一共是1小时30分钟,由于太长为了不影响大家的观感,「AIGC开放社区」没有添加字幕。但我们依然在下面为大家整理了好了这次专访内容。有需要的话,可以对照参考一下。

目前,这个视频放在油管上还不到一天的时间,播放量已经超过75万次,评论超过4500条,用户对这个专访相当满意。在AI方面无论你是否从事该行业或者使用它都能受到不小的启发。

我们看看网友是如何评价这个史诗级专访的。

有网友表示,本次专访应该被保存为一件历史文物。

这是我在你的频道上看到的第一或第二重要的对话。你在采访中停顿,让答案慢慢沉淀,意义深远。

这是我看过最好的专访,Hinton非常真诚。

我儿子多年来一直有一个理论,认为让人工智能像人类一样思考是危险的。相反,他希望我们创造一个像“狗”一样思考的人工智能,这样它就会爱人类并愿意服务我们。

也有一位网友对于AI有着深切的体会,发表了一篇超长的评论:我原本是一个自由撰稿人,干了十年,结果因为AI的出现失去了这份职业;接下来那年我想转向艺术行业,但又被打断了;再下一年,我开始转行学习医疗编码,却在认证过程中再次被中断,因为我意识到AI正在摧毁创意市场。之后我在各种零工之间辗转挣扎,幸运的是我找到了一份训练AI的工作,虽然我很讨厌这份工作,但我还是感激它带来的收入。

我一直没能找到别的工作,现在所有人都在用AI了。我原本以为转型到科技领域会有帮助,于是开始学习更多关于AI的知识,所以去年又回到了学校学习编程。然而很快我就意识到发生了什么。

AI的学习速度比我快太多了。于是我退学了。我不愿意再花钱去接受教育,因为它根本不会给我带来任何好处。即使我完成了编程学位,等到毕业的时候,所有初级职位可能都已经被AI取代了,而学校的教学内容又远远落后于技术发展的前沿——没有经验,没人会雇我。

说实话,我不知道自己还能做什么。我有几十年的慢性伤病,没法从事体力劳动。我想我只能再漂泊一两年,直到AI可以自我训练为止,那时我又会被辞退。然后就业市场会更加艰难,因为还有那么多同样失业的人。也许还会有一些零工机会,也许勉强能凑够房租,也许连这个都做不到,谁知道呢?

我能预见到自己最终流落街头,死在沟渠里。每当我想到未来,就会不由自主地陷入深深的抑郁。

我知道AI确实很有用,也有巨大的积极潜力,但让我们现实一点吧。全球范围内,我们现在拥有足够的资源来照顾每一个人,但我们并没有这么做。我们清楚应对气候变化该怎么做,但我们不去做。美国是世界上最富有的国家,但我们甚至不给国民提供基本的医疗保障。全民基本收入?在美国,这几乎不可能。

AI并不会改变人性,而人性本身充满了致命的缺陷:贪婪、傲慢、自私等等。那些富有且有权势的人会从系统中榨取一切他们能拿到的东西,而剩下的其他人只能挨饿。未来很黯淡。我一直在努力想出一个办法,建造一艘能在这些巨浪中浮沉的船,但我什么都想不到。市场只需要那么几个水管工而已。

下面就是本次专访部分内容。

主持人:非常感谢,GeoffreyHinton,他们称你为“AI教父”?

Hinton:是的。

主持人:为什么这么称呼你?

Hinton:过去没有多少人相信我们能让神经网络,人工神经网络发挥作用。所以从20世纪50年代起,在AI领域,关于如何实现AI主要有两种思路。一种观点认为,人类智能的核心是推理,而要进行推理,需要使用某种形式的逻辑。

因此,AI必须基于逻辑。在你的大脑中,一定有类似符号表达式的东西,你用规则来操作它们,这就是智能运作的方式。而像学习或类比推理这类能力,都是在我们弄清楚基本推理如何运作之后才会出现的。另一种方法则是:让我们基于大脑来构建AI模型,因为显然大脑让我们拥有智能。所以在计算机上模拟脑细胞网络,并试图找出如何学习脑细胞之间连接的强度,以便它能学会做复杂的事情,比如识别图像中的物体、识别语音,甚至进行推理。

我坚持这种方法长达50年,因为很少有人相信它。当时没有多少好大学有从事这方面研究的团队,所以如果你从事这个领域,那些相信这种方法的最优秀的年轻学生就会来和你一起工作。我很幸运,招到了很多非常优秀的学生,他们中的一些人后来在创建OpenAI等平台中发挥了关键作用。

主持人:你为什么相信基于大脑建模是更有效的方法?

Hinton:早期不止我一个人这么认为。冯・诺依曼相信,图灵也相信。如果他们中的任何一个还活着,我认为AI的历史会大不相同,但他们都英年早逝了。

主持人:你认为AI会更早出现吗?

Hinton:我认为如果他们中的任何一个还活着,神经网络的方法会被更早接受。在你人生的这个阶段,你肩负着什么使命?我现在的主要使命是警告人们AI可能有多么危险。当你成为AI教父时,你知道这一点吗?

不太清楚。我对一些风险的理解比较迟缓。有些风险一直很明显,比如人们会用AI制造自主杀伤性武器,也就是那些四处游走、自己决定杀谁的东西。其他风险,比如它们有一天会比我们更聪明,甚至可能让我们变得无关紧要,我很晚才意识到这一点。其他人20年前就认识到了,而我直到几年前才意识到这是一个可能很快到来的真实风险。

主持人:考虑到你对计算机学习能力的了解它们能像人类一样学习,并且还在不断改进你怎么会没有预见到这一点呢?你怎么会没看到呢?20、30年前的神经网络所能做的事情非常原始,在视觉、语言和语音识别等方面远不如人类。当时认为需要担心它们变得比人类更聪明,似乎很荒谬。这种情况什么时候改变的?

Hinton:对普通大众来说,是ChatGPT出现的时候。对我来说,是当我意识到我们正在创造的数字智能具有某种特质,使它们远远优于我们拥有的生物智能。如果我想和你分享信息,比如我学了一些东西,想告诉你,我会说一些句子。

这是一个相当简化的模型,但大致正确。你的大脑试图弄清楚如何改变神经元之间连接的强度。比如,我可能会把某个词放在下一个位置,当出现一个非常出人意料的词时,你会进行大量学习,而当出现一个很明显的词时,学习就很少。比如我说鱼和薯条,当我说薯条时,你不会有太多学习;但如果我说鱼和黄瓜,你就会有更多学习,你会想为什么我会说黄瓜。这大致就是你大脑中发生的事情,我们认为大脑就是这样工作的。

没人真正确定大脑是如何工作的,也没人知道它如何获取关于是增强还是减弱连接强度的信息,这是关键。但我们现在从AI中知道,如果能获得关于如何调整连接强度以更好地完成任务的信息,我们就能学习到不可思议的东西,因为这就是我们现在用人工神经网络在做的事情。只是我们不知道真实的大脑是如何获得这种增减信号的。

主持人:如今,你对AI安全的主要担忧是什么?如果让你列出最首要的几个,我们应该关注的。

Hinton:首先,我想区分两种完全不同的风险。一种是人类滥用AI带来的风险,这是大多数风险,也是所有短期风险。另一种是AI变得超级智能并决定不再需要我们带来的风险。这是真实的风险吗?我主要谈论第二种风险,因为很多人会问:这是真实的风险吗?是的。

现在,我们不知道这风险有多大,我们从未处于这种情况,从未需要应对比我们更聪明的东西。所以,关于这种生存威胁,我们完全不知道如何应对,也不知道它会是什么样子。任何告诉你他们知道会发生什么以及如何应对的人,都是在胡说八道。我们不知道如何估计它取代我们的概率。有人说这个概率低于1%,我的朋友杨立昆认为,不,我们一直在建造这些东西,我们会一直控制它们,我们会让它们听话。

而像尤德考斯基这样的人则说,不,这些东西肯定会消灭我们,只要有人建造了它,就会把我们都消灭。他对此很有信心。我认为这两种立场都很极端,很难估计中间的概率。如果让你在两位朋友中赌谁是对的

我根本不知道。如果必须赌,我会说概率在中间,但我不知道该如何估计。我常说有10%到20%的可能性它们会消灭我们,但这只是基于直觉,因为我们还在制造它们,而我们很有创造力。希望如果有足够多的聪明人用足够多的资源进行研究,我们能找到一种方法来建造它们,使它们永远不想伤害我们。有时我会想到第二条道路,想到核弹和原子弹的发明,以及它们的对比这次有什么不同?因为原子弹出现时,我想当时很多人认为我们时日无多了。

原子弹其实只擅长一件事,而且它的作用方式非常明显。即使你没有看到广岛和长崎的照片,也能明显看出这是一种非常危险的大炸弹。而AI则不同,它有很多用处,在医疗、教育以及几乎任何需要使用数据的行业,有了AI都能做得更好。所以我们不会停止发展它。人们会说:那我们为什么不现在就停止?我们不会停止,因为它在太多领域都太有用了。另外,我们也不会停止,因为它对战斗机器人很有用,而任何出售武器的国家都不会想停止。

比如欧盟法规,他们有一些关于AI的法规,有总比没有好,但这些法规并非为应对大多数威胁而设计。特别是,欧盟法规中有一个条款规定,这些法规不适用于AI的军事用途。所以政府愿意监管公司和个人,但不愿意监管自己。在我看来,这很疯狂。我来回思考这个问题,但如果欧洲有法规,而世界其他地区没有,就会造成竞争劣势。

主持人:我们已经看到这种情况了。我认为人们没有意识到,当OpenAI在美国发布新模型或新软件时,由于这里的法规,它们还不能在欧洲发布。所以SamAltamn发推文说:我们新的AI智能体产品对所有人开放,但由于法规原因,暂时不能进入欧洲。是的,这会给我们带来生产力劣势吗?

Hinton:生产力劣势。我们现在需要的是,在我们即将创造出比自己更聪明的东西的历史时刻,我们真正需要的是一个由聪明、有思想的人管理的世界政府,但我们没有。所以现在是混战局面。

主持人:我们现在实行的资本主义让我们过得很好,为我们生产了大量商品和服务。但这些大公司在法律上被要求尽可能最大化利润,而这并不是开发AI所需的。那么来谈谈风险吧。你提到过人类风险吧。

Hinton:我已经区分了这两种风险。先谈谈坏人和不良行为者使用AI带来的所有风险。首先是网络攻击。2023年至2024年间,网络攻击增加了约12200%,这可能是因为这些大型语言模型使钓鱼攻击变得容易得多。钓鱼攻击对不知道的人来说,就是他们给你发信息说:嗨,我是你的朋友约翰,我被困在萨尔瓦多了,你能汇点钱吗?

这是一种攻击。但钓鱼攻击实际上是想获取你的登录凭证。现在有了AI,它们可以克隆我的声音、我的形象,它们可以做所有这些。我现在很头疼,因为在X平台和Meta上有很多AI诈骗。

特别是在Meta上,比如Instagram和Facebook,现在有一个付费广告,他们从我的播客中提取了我的声音和举止,制作了一个新视频,让我鼓励人们参与这个加密庞氏骗局之类的东西。我们花了好几个星期给Meta发邮件,让他们把这个广告撤下来,他们撤了,又弹出一个,再撤,又弹出一个,就像打地鼠一样。最令人心碎的是,有人听信了骗局,损失了500英镑或500美元,还以为是我推荐的,对我很生气,我真的为他们难过,这太烦人了。我也遇到过类似的小事,现在有人发表论文,把我列为作者之一,看起来是为了让自己获得更多引用。

主持人:所以网络攻击是非常真实的威胁,而且已经激增。显然,AI很有耐心,它们可以浏览一亿行代码,寻找已知的攻击方式,这很容易做到。但它们会变得更有创造力,有人相信一些很懂行的人相信到2030年,它们可能会制造出人类从未想过的新型网络攻击。这非常令人担忧,因为它们可以自己思考,从比人类见过的多得多的数据中得出新结论。你有没有采取什么措施来保护自己免受网络攻击?

Hinton:有,这是我少数彻底改变做法的领域之一,因为我害怕网络攻击。加拿大的银行非常安全,2008年没有一家加拿大银行濒临破产,它们受到很好的监管。不过,我认为网络攻击可能会让一家银行瘫痪。如果我所有的储蓄都是银行持有的银行股票,那么如果银行被攻击,而它们持有你的股票,这些股票仍然是你的。所以我觉得你应该没事,除非攻击者卖出股票,因为银行可以卖出股票。如果攻击者卖出你的股票,我觉得你就完了。我不知道,也许银行会设法赔偿你,但那时银行已经破产了,对吧?

所以我担心加拿大的一家银行被网络攻击瘫痪,攻击者卖出它持有的股票。因此,我把我和孩子们的钱分散存在三家银行,我认为如果一次网络攻击搞垮一家加拿大银行,其他加拿大银行会很快变得非常谨慎。你有不联网的手机吗?你有没有考虑过冷存储之类的?我有一个小磁盘驱动器,我用这个硬盘备份我的笔记本电脑,所以我的笔记本电脑上的所有东西都在硬盘上。至少如果整个互联网瘫痪了,我知道我的笔记本电脑上还有,我的信息还在。

主持人:然后是选举腐败。如果你想利用AI来操纵选举,一个非常有效的方法是进行有针对性的政治广告,因为你对这个人了解很多。所以任何想利用AI来操纵选举的人,都会试图获取选民的所有数据。考虑到这一点,马斯克目前在美国的做法有点令人担忧,他坚持要访问所有这些原本被仔细隔离的信息。他声称这是为了提高效率,但这正是如果你想操纵下一次选举会想要做的事情。

Hinton:因为你获取了所有这些关于人们的数据,你知道他们赚多少钱、住在哪里,了解他们的一切。一旦你知道这些,就很容易操纵他们,因为你可以让AI发送他们会觉得非常有说服力的信息,比如告诉他们不要投票。我没有理由,只是凭常识这么想,但如果他从美国政府来源获取所有这些数据的部分动机是为了操纵选举,我不会感到惊讶。另一部分可能是,这是训练大模型的很好的数据,但他必须从政府获取这些数据并输入到他的模型中。他们已经关闭了很多安全控制,取消了一些防止这种情况的组织。

主持人:接下来是像YouTube和Facebook这样的组织制造信息茧房,给人们看会让他们愤怒的东西。人们喜欢愤怒,“愤怒”在这里指的是感到愤怒但又觉得自己是正义的。比如,如果给我看一个说特朗普做了这件疯狂事的视频,我会立刻点击。

Hinton:这就是YouTube、Facebook和其他平台决定给你推荐什么内容的策略所导致的。如果他们采取推荐平衡内容的策略,就不会有那么多点击量,也无法卖出那么多广告。所以本质上,利润动机促使他们给用户看能让他们点击的东西,而能让他们点击的是越来越极端、能证实他们现有偏见的内容。你的偏见不断被证实,越来越深,这意味着你和他人的分歧越来越大。

现在在美国,有两个几乎不交流的群体。我不确定人们是否意识到,每次打开应用程序,这种情况都在发生。但如果你使用TikTok、YouTube或其他大型社交网络,正如你所说,算法的设计是为了给你推荐更多你上次感兴趣的内容。所以如果这样持续10年,它会把你推向越来越极端的意识形态或信仰,远离理性和常识,这很不可思议。

主持人:我经常听到一种风险,就是这些东西可能会结合起来,比如网络攻击会释放武器。当然,把这些风险结合起来,会产生无数种风险。例如,一个超级智能AI可能决定消灭人类,最明显的方法就是制造一种危险的病毒。如果你制造一种传染性极强、致命性极高但潜伏期很长的病毒,每个人在意识到发生了什么之前就已经感染了。我认为,如果一个超级智能想消灭我们,它可能会选择类似生物武器的方式,这样不会影响到它自己。你不觉得它可能会很快让我们自相残杀吗?比如,它可以向美国的核系统发送警报。

Hinton:我的基本观点是,超级智能有太多方法可以消灭我们,没必要去推测具体方式。我们必须做的是防止它产生这种想法,这才是我们应该研究的方向。如果它想消灭我们,我们根本无法阻止,因为它比我们聪明。我们不习惯思考比我们更聪明的东西。如果你想知道当你不再是顶级智慧时的生活是什么样的,问问鸡就知道了。我早上离开家时想到了我的狗巴勃罗,它是一只法国斗牛犬。它不知道我要去哪里,不知道我在做什么,甚至无法和它交流。而智能差距将会是那样的。

主持人:你如何看待自己一生的工作?

Hinton:AI在医疗、教育等领域会非常出色,它会让呼叫中心效率大大提高,不过人们会担心现在从事这些工作的人该怎么办。我很伤心。我并不为40年前开发AI感到特别内疚,因为那时我们根本没想到事情会发展得这么快,我们以为有足够的时间去担心这些问题。

当你无法让AI做很多事情时,你只想让它多做一点,不会担心这个愚蠢的小东西会接管人类,你只是想让它多做一些人类能做的事。我不是明知这可能会消灭我们还去做,只是很遗憾它不只是带来好处。

所以我现在觉得有责任谈论这些风险。如果你能展望未来30、50年,发现AI导致了人类灭绝。如果最终结果确实如此我会用这一点来告诉人们,告诉他们的政府,我们必须真正努力控制这一切。我认为我们需要人们告诉政府,政府必须迫使公司利用资源来研究安全性,而他们现在没做多少,因为这样赚不到钱。

主持人:你之前提到的一个学生,IlyaSutskever离开了OpenAI。他为什么离开?

Hinton:是的,关于他离开的原因有很多讨论,说是因为担心安全性。我认为他离开是因为担心安全性。我仍然时不时和他一起吃午饭,他父母住在多伦多,他来多伦多时,我们会一起吃饭。他不跟我谈论在OpenAI发生的事,所以我没有内部消息。但我很了解他,他真的很关心安全问题,所以我认为这就是他离开的原因,因为他是顶尖人才之一,可能是早期ChatGPT开发背后最重要的人,比如GPT-2的开发,他发挥了重要作用。

主持人:你了解他的为人,知道他有良好的道德指南针,不像马斯克那样没有道德指南针。SamAltman有良好的道德指南针吗?

Hinton:我不了解SamAltman,不想评论。

主持人:如果你看看山姆几年前的声明,他在一次采访中轻松地说,这东西可能会杀了我们所有人,虽然不是原话,但意思差不多。现在他说你不必太担心,我怀疑这不是出于对真相的追求,而是出于对金钱的追求。

Hinton:我不该说金钱,是两者的某种结合。我有一个亿万富翁朋友,他身处那个圈子。有一天我去他家吃午饭,他认识很多AI领域的人,正在建造世界上最大的AI公司。他在伦敦的厨房餐桌上给了我一个警告,让我了解了这些人私下的谈话,不是他们在媒体采访中谈论安全的那些话,而是他们个人认为会发生什么。他们私下的想法和公开说的不一样。

有一个人,我不该说名字,他是世界上最大的AI公司之一的领导者。我朋友很了解他,他私下认为我们正走向一个反乌托邦世界,在那里我们有大量的空闲时间,不再工作,而这个人根本不在乎这会对世界造成什么伤害。我指的这个人正在建造世界上最大的AI公司之一。

然后我看了这个人的在线采访,试图找出他是那三个人中的哪一个,是的,就是那三个人中的一个。我看了他的采访,回想起我那位认识他的亿万富翁朋友的谈话,心想:“该死,这家伙在公开场合撒谎。”他没有对世界说实话,这让我有些困扰。这也是我在这个播客中多次谈论AI的部分原因,因为我觉得他们中的一些人对权力有点虐待狂倾向,他们喜欢自己将改变世界的想法,认为自己将从根本上改变世界。

我认为马斯克显然就是这样,他是个复杂的人,我真的不知道如何评价他。他做了一些非常好的事情,比如推动电动汽车,这是一件非常好的事情;他对自动驾驶的一些说法有些夸张,但他做的事情很有用。

主持人:据我所知,公司曾表示会将相当一部分计算资源用于安全研究,但后来减少了这部分资源,我认为这是发生的事情之一,这已经被公开报道过

Hinton:是的。我们已经谈到了自主武器的风险,接下来是失业问题。过去,新技术的出现并没有导致失业,而是创造了新工作。经典的例子是自动柜员机,当自动柜员机出现时,很多银行柜员并没有失业,他们只是做了更有趣的事情。但我认为这次更像工业革命时期机器的出现,现在你不能靠挖沟谋生了,因为机器挖沟比你好得多。

对于普通的脑力劳动,AI将取代所有人。可能会出现这样的形式:使用AI助手的人减少,一个人和一个AI助手现在能做以前10个人的工作。

人们说AI会创造新工作,所以我们会没事的,其他技术也是如此,但这次的技术不同。如果AI能做所有普通的人类脑力劳动,它会创造什么新工作呢?你必须非常有技能才能拥有一份AI不能做的工作,我认为他们错了。你可以尝试从其他技术,比如计算机或自动柜员机,进行推断,但我认为这次不同。

人们说:AI不会取代你的工作,使用AI的人会取代你的工作。我认为这是对的,但对很多工作来说,这意味着需要的人少得多。我的侄女在医疗服务机构回复投诉信,过去需要25分钟,她会读投诉,思考如何回复,然后写信。现在她只是把投诉扫描进聊天机器人,机器人写信,她只需要检查,偶尔让机器人修改,整个过程只需要5分钟。这意味着她可以回复五倍的信件,所以需要的人减少到五分之一,她现在能做过去五个人的工作,这意味着需要的人更少。

主持人:在其他工作中,比如医疗保健,弹性更大。如果能让医生效率提高五倍,我们可以用同样的价格获得五倍的医疗保健,这很棒。人们对医疗保健的需求几乎是无限的,如果没有成本,他们总是想要更多。有些工作中,有了AI助手,人的效率会大大提高,而且不会导致人员减少,因为会有更多的工作要做。但我认为大多数工作不是这样的。我的想法对吗?

Hinton:是的,正是如此。而这次AI革命替代的是智力,是大脑。所以普通的脑力劳动就像拥有强壮的肌肉一样,现在不值钱了。肌肉已经被替代,现在智力正在被替代。

主持人:那还剩下什么?也许一段时间内还有某种创造力,但超级智能的全部意义在于没有什么能剩下,这些东西会在所有方面都比我们好。那么在这样的世界里,我们最终会做什么?

Hinton:如果它们为我们工作,我们不用费多少力气就能得到很多商品和服务。这听起来很诱人,但我不知道。有一个警示故事,人类生活越来越安逸,但结果很糟糕。我们需要弄清楚如何让结果变好。好的场景是,想象一个公司的首席执行官很愚蠢,可能是前任首席执行官的儿子,他有一个非常聪明的执行助理。

他说:我认为我们应该做这个。执行助理把一切都做好,首席执行官感觉很棒,他不明白自己其实并不在控制之中,但在某种意义上,他是在控制,他建议公司该做什么,她只是把事情做好,一切都很好。坏的场景是,她想:我们为什么需要他?

主持人:现在的AI和超级智能有什么区别?因为我用ChatGPT或者Gemini的时候,感觉它已经很聪明了。

Hinton:确实,AI在很多特定领域已经比我们强了,比如国际象棋。AI的水平已经远超人类,人类再也赢不了了,偶尔赢一次算侥幸,但基本上没法比了。围棋也是一样。从知识量来看,GPT-4知道的比你多成千上万倍。只有少数领域你比它强,其他几乎所有领域它都懂得更多。

可能在采访CEO方面。你很有经验,是个优秀的采访者。如果让GPT-4采访CEO,效果可能更差。

主持人:我得想想是否认同这个说法。也可能要不了多久我也会被替代。

Hinton:对,也许可以用你的提问方式和风格来训练AI。如果用一个通用基础模型,不仅训练它学习你,还学习所有你能找到的类似采访者,尤其是你,它可能会很擅长做你的工作,但短期内可能还比不上你。

主持人:所以现在还有少数领域人类占优,而超级智能会在所有领域都超越我们,在几乎所有事情上都比你聪明得多。你说这可能在十年左右发生?

Hinton:有可能,甚至可能更快。有人觉得会更快,但也可能更久,也许五十年后。不过也有可能,用人类数据训练AI,会限制它无法超越人类太多。我猜10到20年内会出现超级智能。

主持人:关于失业问题,我一直在思考,尤其是在尝试使用AI智能体之后。今天早上我们播客刚发了一期节目,和一家大型智能体公司的CEO等人辩论智能体,我突然有了顿悟,看到未来可能的样子。

我在采访中让AI智能体给我们点饮料,五分钟后有人送来了饮料,我什么都没做,只是让它把饮料送到演播室。它还不知道我们通常从哪里点,结果它从网上查到了,用了UberEats,可能获取了我的数据。我们把AI的操作实时投在屏幕上,大家能看到它浏览网页、选饮料、给骑手加小费、填地址、输信用卡信息,然后饮料就来了。还有一次,我用了一个叫Replet的工具,只需要告诉智能体我想要什么,它就能帮我开发软件。

Hinton:太神奇了,同时也很可怕。如果AI能这样开发软件,而且在训练时使用代码,还能修改自己的代码,那就更吓人了它能自我改变,而我们无法改变自己的先天能力,它没有任何自我限制的地方。

主持人:在超级智能的世界里,你会怎么跟人们说职业前景?我们该怎么想?

Hinton:短期内,AI在物理操作方面还不如人类,所以当水管工是个不错的选择,直到人形机器人普及。

主持人:你预测会出现大规模失业,而OpenAI的SamAltman也这么预测过,很多CEO,比如马斯克,我看过一个采访,他被问到这个问题时,沉默了12秒左右,然后说他其实处于一种“悬置不信”的状态,就是根本不去想这个问题。当你要给孩子建议职业方向,世界变化这么快,你会告诉他们什么是有价值的?

Hinton:这很难回答。我会说,跟着自己的心走,做自己觉得有趣或有意义的事。说实话,如果想太多,会觉得沮丧和失去动力。我花了很多心血创办公司,然后会想:“我该这么做吗?”因为AI能做所有这些事。某种程度上,我必须刻意“悬置不信”才能保持动力。所以我想我会说,专注于你觉得有趣、有意义,并且能为社会做贡献的事情。

主持人:有没有哪些行业失业风险受到AI取代的特别高高?人们常说创意行业和知识型工作,比如律师、会计之类的。

Hinton:所以我才说水管工风险低一些。像法律助理、律师助理这类工作,很快就不需要了。

主持人:这会加剧贫富差距吗?

Hinton:是的。在一个分配公平的社会里,生产力大幅提升应该让每个人都受益。但如果AI取代了很多人,被取代的人会变穷,提供AI的公司和使用AI的公司会更富有,这会扩大贫富差距。我们知道,贫富差距越大,社会越糟糕,会出现分裂的社区,把人关进大量监狱,扩大贫富差距不是好事。国际货币基金组织已经表达了深切担忧,认为生成式AI可能导致大规模劳动力动荡和不平等加剧,并呼吁制定政策防止这种情况发生。

主持人:我在《商业内幕》上看到过,他们提出具体政策建议了吗?

Hinton:没有,这就是问题所在。如果AI能让一切更高效,取代大多数工作,或者让人借助AI完成很多人的工作,该怎么办?通用基本收入是个开始,可以让人们不挨饿,但对很多人来说,尊严和工作绑定在一起你觉得自己是谁,和你做什么工作有关。如果我们说给你同样的钱,坐着就行,这会影响你的尊严。

主持人:你之前说过AI会超越人类智能,很多人以为AI在电脑里,不想用了关掉就行。

Hinton:让我告诉你为什么AI更优越,它是数字化的,所以可以在一台硬件上模拟神经网络,也能在另一台硬件上模拟完全相同的神经网络,制造相同智能的克隆体。可以让一个克隆体浏览互联网的一部分,另一个浏览不同部分,同时保持同步,让它们的连接强度一致。比如一个克隆体在网上学到应该增强某个连接的强度,就能把信息传给另一个,基于彼此的经验学习。

主持人:你说的连接强度,就是学习过程?

Hinton:是的。学习就是调整连接强度,比如从2.4的权重调到2.5,这就是一点学习。两个相同的神经网络克隆体有不同的经验,看不同的数据,但通过平均权重来共享学习成果。它们可以在瞬间平均数万亿的权重,而人类传递信息只能靠句子,一句可能只有100比特,每秒传递10比特就不错了。

AI传递信息的效率比人类高数十亿倍,因为它们是数字化的,不同硬件可以运行完全相同的连接强度。而人类是模拟的,你我的大脑不同,即使我知道你所有神经元的连接强度,对我也没用,因为我的神经元工作方式和连接方式略有不同。

主持人:是什么让你加入谷歌?你在谷歌工作了大约十年?

Hinton:是的。我有个儿子有学习障碍,为了确保他永远不会流落街头,我需要几百万美元,而当学者赚不到这么多钱。我试过,教Coursera课程,希望赚大钱,但没什么钱。所以我想,唯一能赚几百万的方法就是把自己卖给大公司。

幸运的是,65岁时,我有两个才华横溢的学生,他们开发了AlexNet,这是一个很擅长识别图像中物体的神经网络。我和伊利亚、亚历克斯创办了一家小公司,进行拍卖,很多大公司竞标,公司叫DNNResearch。AlexNet因远超竞争对手的能力获得了多个奖项,最终谷歌收购了我们的技术和其他技术。

主持人:你多大年纪加入谷歌的?

Hinton:65岁,工作了整整十年,75岁离开。

主持人:在谷歌主要做什么?

Hinton:他们对我很好,说你想做什么都行。我研究了知识蒸馏,效果很好,现在AI领域常用,蒸馏是将大模型的知识迁移到小模型中。最后我对模拟计算很感兴趣,想知道能否让大型语言模型在模拟硬件上运行,以减少能耗。正是在做这个研究时,我开始真正意识到数字化在信息共享方面有多优越。

主持人:有顿悟时刻吗?

Hinton:有那么几个月,ChatGPT的出现。虽然谷歌一年前就有类似技术,我也见过,对我影响很大,最接近顿悟的是谷歌的Palm系统能解释笑话为什么好笑,我一直认为这是里程碑。

如果能解释笑话为什么好笑,说明它真的理解了。结合数字化在信息共享上远优于模拟的认知,我突然开始关注AI安全,意识到这些东西会比人类聪明得多。

主持人:为什么离开谷歌?

Hinton:主要是因为75岁想退休,但我退休生活过得很糟。离开的具体时间选在能在MIT的会议上自由发言,但根本原因是我老了,编程越来越困难,犯错越来越多,很烦人。

主持人:你想在MIT的会议上自由说什么?

Hinton:AI安全。在谷歌时也可以说,谷歌鼓励我留下研究AI安全,说我想做什么都行,但在大公司工作,会觉得说可能损害公司的话不合适,即使可以说,也觉得不对。我离开不是因为对谷歌有什么不满,我认为谷歌行事很负责,有大型聊天机器人却不发布,可能是担心声誉,他们声誉很好,不想损害。而OpenAI没有声誉,所以敢冒险。

主持人:如果要给我的听众一个关于AI和AI安全的结束语,你会说什么?

Hinton:我们仍有机会弄清楚如何开发不会想要取代我们的AI。因为存在机会,我们就应该投入巨大的资源去努力实现这一点——如果不这样做,AI就会取代我们。

主持人:你抱有希望吗?

Hinton:我只是不知道,我是不可知论者。晚上躺在床上思考各种结果的概率时,你内心一定有偏向,我想每个正在收听的人内心都有一个可能不会说出口的预测,他们认为事情会如何发展。

我真的不知道,我真心不知道,我认为这充满了不确定性。当我感到有点沮丧时,我觉得人类完蛋了,AI会接管;当我感到乐观时,我认为我们会找到方法。

主持人:在这个播客中,我们有一个结束传统:上一位嘉宾会在他们的日记中留下一个问题,留给你的问题是:鉴于你所看到的我们前方的一切,你认为对人类幸福最大的威胁是什么?

Hinton:我认为失业是对人类幸福相当紧迫的短期威胁。我认为如果让很多人失业,即使他们有全民基本收入,他们也不会幸福,因为他们需要目标,需要奋斗,需要感到自己在做出贡献,自己是有用的。

主持人:你认为大规模失业这种结果发生的可能性大于不发生吗?

Hinton:是的,我这样认为。我认为这一点的可能性肯定大于不可能性。如果我在呼叫中心工作,我会感到害怕。

主持人:大规模失业的时间框架是怎样的?

Hinton:我认为已经开始发生了。我最近在《大西洋月刊》上读到一篇文章,说大学毕业生已经很难找到工作,部分原因可能是他们原本能得到的工作已经被AI占用了。我和一家知名大公司的CEO聊过,很多人都在用他们的产品。

他在私信中告诉我,他们曾经有7000多名员工,到去年减少到5000人,现在有3600人,到夏天结束时,由于AI Agent,他们将减少到3000人。

所以裁员已经在发生,是的。他的员工减少了一半,因为智能体现在可以处理80%的客户服务咨询和其他工作,所以这已经在发生了。

本文素材来源The Diary Of A CEO,如有侵权请联系删除