[城主说]这次最新的超长篇访谈深入探讨了人工智能的前沿领域。谷歌DeepMind的领导者德米斯·哈萨比斯与Lex·弗里德曼讨论了他对于自然模式可学习性的猜想、AI在模拟物理世界(如流体动力学)和创造交互式游戏世界中的巨大潜力。对话还涵盖了通往通用人工智能(AGI)的路径、其定义与测试方法,以及AI对科学、能源、经济和人类未来的深远影响。 Lex: 我们人类很难对高度非线性的动力系统做出任何清晰的预测。但再次回到你的观点,我们可能会对经典学习系统在流体方面所能做的事情感到非常惊讶。 德米斯: 是的,没错。我的意思是,流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常、非常困难、棘手的问题。它们需要大量的计算,例如天气预测系统,你知道的,这些都涉及流体动力学计算。但同样,如果你看看像VEO这样的东西,我们的视频生成模型,它可以很好地模拟液体,出奇地好,以及材料、镜面反射光照。我喜欢那些有人生成视频,其中有透明液体通过液压机,然后被挤出来的视频。我早期在游戏领域编写过物理引擎和图形引擎,我知道构建能够做到这一点的程序是多么费力。然而,不知何故,这些系统正在通过观看YouTube视频进行逆向工程。因此,推测发生的情况是,它正在提取这些材料行为方式的一些底层结构。因此,如果我们真正完全理解了内部发生的事情,也许存在某种可以学习的低维流形。也许,你知道,这可能对大多数现实都是如此。 Lex: 以下是与德米斯·哈萨比斯(Demis Hassabis)的对话,这是他第二次参加播客节目。他是谷歌DeepMind的领导者,现在是诺贝尔奖获得者。德米斯是当今世界上最聪明、最迷人的人才之一,致力于理解和构建智能,并探索我们宇宙的重大谜团。能够邀请他参加节目,我感到非常荣幸。 在您的诺贝尔奖演讲中,您提出了我认为非常有趣的猜想,即“自然界中可以生成或发现的任何模式都可以通过经典的机器学习算法有效地发现和建模”。其中可能包含哪些类型的模式或系统?生物学、化学、物理学,或许是宇宙学、神经科学,我们在谈论什么? 德米斯: 当然。嗯,你看,我觉得诺贝尔奖的演讲有点像是传统,我认为,你应该有点挑衅意味,我想遵循这个传统。我在那里谈论的是,如果你退一步,看看我们所做的所有工作,特别是 Alpha X 项目,所以我想到的是 Alpha Go,当然还有 Alpha Fold,它们真正的意义在于,我们正在构建非常组合性高维空间的模型,如果你试图强行找到解决方案,比如在围棋中找到最佳着法,或者找到蛋白质的精确形状,如果你列举所有可能性,宇宙的时间都不够用。所以你必须做一些更聪明的事情。在这两种情况下,我们所做的都是构建这些环境的模型,从而以一种聪明的方式引导搜索,使其变得易于处理。 所以如果你考虑蛋白质折叠,这显然是一个自然系统,为什么这会成为可能?物理学是如何做到这一点的?蛋白质在我们体内以毫秒级的速度折叠,所以物理学以某种方式解决了这个问题,而我们现在也通过计算解决了这个问题。我认为之所以成为可能,是因为在自然界中,自然系统具有结构,因为它们受到塑造它们的进化过程的影响。如果这是真的,那么你也许可以了解这种结构是什么。 Lex: 所以我认为,这个视角确实非常有趣。你已经暗示过了,粗略地说,任何可以进化的事物都可以被高效地建模。认为这有道理吗? 德米斯: 是的,我有时称它为“最稳定者的生存”或类似的东西,因为当然存在生命、生物的进化,但是,如果你考虑到地质时间,比如山脉的形状,那是经过数千年的风化过程塑造的,然后你甚至可以将其推广到宇宙学,行星的轨道,小行星的形状,这些都经历了某种生存过程,这些过程在它们身上发生了无数次。所以如果这是真的,那么应该存在某种模式,你可以逆向学习,并且实际上存在一种流形,可以帮助你搜索到正确的解决方案,正确的形状,并且实际上允许你以有效的方式预测有关它的信息,因为它不是随机模式,对吗? 所以对于人造事物或抽象事物(例如分解大数)来说,这可能是不可能的,因为除非数字空间中存在模式,这可能存在,但如果没有并且它是均匀的,那么就没有要学习的模式。没有可以学习的模型来帮助你搜索。你必须使用蛮力。所以在这种情况下,你可能需要一台量子计算机,或者类似的东西。但是我们感兴趣的大多数自然事物并非如此。它们拥有因某种原因而进化并在时间中幸存下来的结构。如果这是真的,我认为这可能可以通过神经网络学习。 德米斯: 是的,没错。是啊。真有趣。所以它们可以被有效地重新发现或恢复,因为自然不是随机的,对吧?这些,我们周围看到的一切,包括更稳定的元素,所有这些东西,都受到某种选择过程、压力的影响。 Lex: 你认为,因为你也是理论计算机科学和复杂性的爱好者,你认为我们可以提出一种复杂性类别,比如一种复杂性动物园类型的类别,也许是可学习系统集合,可学习的自然系统集合,L和S?这是一类新的系统,实际上可以通过这种方式被经典系统学习,是可以被有效建模的自然系统。 德米斯: 是的。我的意思是,我一直对P=NP问题着迷,以及经典系统可以建模什么,即非量子系统,你知道,实际上是图灵机。这正是我实际上在用一些空闲时间和一些同事一起研究的内容,对于是否应该存在,你知道,可能有一种新型的问题,可以通过这种类型的神经网络过程解决,并映射到这些自然系统上。所以,你知道,存在于物理学中并具有结构的事物。所以我认为这可能是一种非常有趣的新思考方式。这在某种程度上符合我思考物理学的方式,也就是说,你知道,我认为信息是首要的。信息是宇宙中最基本的一个单位,比能量和物质更基本。所以我认为它们都可以相互转化。但我认为宇宙是一种信息系统。所以当你把宇宙看作一个信息系统时,那么P=NP问题就是一个物理学问题。 德米斯: 是的,我认为这实际上是最根本的问题之一,如果你认为物理学是信息性的。我认为这个问题的答案将会非常具有启发性。 Lex: 更具体地说是对于P与NP问题。再次声明,我们现在所说的一些东西可能有点疯狂。就像克里斯蒂安·阿特金森的诺贝尔奖获奖感言一样,他说了一些有争议的事情,听起来很疯狂。然后你和约翰· jumper一起凭借这个获得了诺贝尔奖,解决了这个问题。所以,让我回到P等于NP的问题。你认为我们正在讨论的这个问题中是否存在一些东西可以被证明,如果你能做到类似多项式时间或常数时间,提前计算,并构建这个巨大的模型,那么你就可以用一种理论计算机科学的方式来解决这些极其困难的问题吗? 德米斯: 是的,我认为实际上有很大一类问题可以用这种方式来解决,就像我们做AlphaGo和AlphaFold的方式一样,你知道,你可以建模系统的动态特性、系统的属性以及你试图理解的环境。然后,这使得寻找解决方案或预测下一步变得高效,基本上是多项式时间。所以对于经典系统来说是可以处理的,而神经网络就是一个经典系统,它在普通的计算机上运行,对吧?经典计算机,实际上就是图灵机。 我认为这是目前最有趣的问题之一,那就是这种范式能走多远?你知道,我认为我们已经证明了,整个AI社区也证明了,经典系统,图灵机,可以比我们之前认为的走得更远。你知道,它们可以做一些事情,比如模拟蛋白质的结构,以及在围棋方面比世界冠军水平更高。而且,你知道,很多人可能在10、20年前会认为,这还需要几十年,或者可能需要某种量子机器或量子系统才能做像蛋白质折叠这样的事情。所以我认为,我们甚至还没有真正触及所谓的经典系统能够做什么的皮毛。当然,建立在神经网络系统之上,建立在经典计算机之上的AGI,将是这种表达的终极体现。我认为这个限制,你知道,这种系统的界限,它能做什么,这是一个非常有趣的问题,直接关系到P等于NP问题。 Lex: 你觉得,再次假设,什么可能会超出这个范围,也许是涌现现象?比如你看看元胞自动机,一些,你拥有极其简单的系统,然后一些复杂性涌现出来。也许那会超出范围,或者你甚至会猜测,即使是那样,也可能可以通过经典机器进行高效建模? 德米斯: 是的,我认为这些系统正处于边界上,对吧?所以我认为大多数涌现系统,元胞自动机,诸如此类的东西,都可以用经典系统建模。你只需对它进行正向模拟,而且可能足够高效。当然,存在诸如混沌系统之类的问题,其中初始条件至关重要,然后你得到一些,你知道,不相关的最终状态。现在这些可能很难建模。所以我认为这些都是开放性问题,但我觉得当你退一步,看看我们用这些系统所做的事情,以及我们所解决的问题,然后你再看看像VEO3这样的视频生成,比如渲染物理和光照等,你知道,真正物理学中的核心基本要素,那就非常有趣了。我认为这在告诉我一些对于宇宙如何被构建的非常根本的东西。所以,你知道,在某种程度上,这就是我想构建通用人工智能(AGI)的原因,是为了帮助我们作为科学家回答像P=NP这样的问题。是的,我认为我们可能会对经典计算机可以建模的东西不断感到惊讶。 Lex: 我的意思是,AlphaFold 3 在交互方面令人惊讶,你可以在那个方向上取得任何进展。Alpha Genome 令人惊讶,你可以将基因代码映射到功能。有点像在玩涌现现象,你认为有如此多的组合选项,但结果却出乎意料。你可以找到可以有效建模的内核。 德米斯: 是的,因为有一些结构,有一些景观,你知道,在能量景观或其他什么中,你可以遵循,一些梯度你可以遵循。当然,神经网络非常擅长跟踪梯度。因此,如果有一个可以遵循的梯度,并且你可以正确指定目标函数,你知道,你就不必处理所有这些复杂性,我认为这也许是我们几十年来天真地思考这些问题的方式。如果你只是列举所有可能性,它看起来完全是难以处理的。那里有非常非常多的类似问题。然后你会想,嗯,就像10的300次方种可能的蛋白质结构,10的170次方种可能的围棋局面。所有这些都远远超过了宇宙中的原子数量。那么,人们怎么可能找到正确的解决方案或预测下一步呢?而且,但事实证明这是可能的。当然,自然界的现实确实做到了,对吧?蛋白质确实会折叠。所以这让你有信心,一定有,如果我们理解了物理学在某种意义上是如何做到这一点的,那么,如果我们能够模仿这个过程,模拟这个过程,那么在我们经典的系统上也是可以实现的,这基本上就是这个猜想的内容。 Lex: 当然还有非线性动力系统,高度非线性的动力系统,所有涉及流体的东西。是的,没错。你知道,我最近和陶哲轩进行了一次谈话,他在数学上研究了具有一些奇点的系统的非常困难的方面,这些奇点破坏了数学。对于我们人类来说,对高度非线性动力系统做出任何清晰的预测都很难。但再次,正如你所说,我们可能会对经典学习系统在流体方面所能做的事情感到非常惊讶。 德米斯: 是的,完全正确。我的意思是,流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常、非常困难、棘手的问题。它们需要大量的计算,你知道,天气预报系统,你知道,这些东西都涉及到流体动力学计算。而且,但是再次,如果你看看像VEO这样的东西,我们的视频生成模型,它可以很好地模拟液体,出奇地好,还有材料,镜面反射。我喜欢那些有人生成视频,里面有透明液体通过液压机,然后被挤压出来的视频。我早年在游戏行业时,曾编写过物理引擎和图形引擎。我知道构建能够做到这一点的程序是多么令人费力。然而,不知何故,这些系统正在通过观看YouTube视频进行逆向工程。因此,推测发生的情况是,它正在提取对于这些材料如何表现的一些底层结构。因此,也许存在某种低维流形,如果我们真正完全理解了内部发生的事情,就可以学习它。也许这适用于大多数现实。 Lex: 是的,我一直被VEO 3的这个方面所吸引。我认为很多人强调不同的方面,包括喜剧和刻薄以及所有类似的东西,然后是超现实的能力,以一种引人注目并感觉接近现实的方式捕捉人类。然后将其与原生音频结合起来。所有这些都是VEO 3的奇妙之处,但正是您提到的物理特性。是的。它并不完美,但已经相当不错了。然后,真正有趣的科学问题是,它理解了我们世界的什么才能做到这一点?由于对扩散模型的愤世嫉俗的看法,它不可能理解任何东西。但看起来,我的意思是,我认为不理解就无法生成那样的视频。然后我们自己对理解的哲学概念就被提到了表面。你认为VEO 3在多大程度上理解我们的世界? 德米斯: 我认为,如果它能以连贯的方式预测接下来的帧,那就是一种理解,对吧?不是拟人化的版本,不是对正在发生的事情的某种深刻的哲学理解。我认为这些系统不具备那种理解。但它们肯定已经对足够多的动态进行了建模,这么说吧,它们可以相当准确地生成任何东西,8秒钟的连贯视频,至少乍一看,很难区分问题是什么。想象一下,再过两三年,这就是我在考虑的事情,鉴于我们已经取得的进展,以及一两年前的早期版本,这将是多么不可思议。因此,进展的速度是惊人的。 我想我和你一样,很多人喜欢所有的单口喜剧演员,实际上这很好地捕捉了很多人类动态和肢体语言。但实际上,我印象最深刻、最着迷的是物理行为,光照、材质和液体。并且它能做到这一点,这非常了不起。我认为这表明它至少对直觉物理学有一些概念,对吧?事物应该如何凭直觉运作,也许像一个孩子理解物理学的方式,对吧,而不是一个博士生真正能够拆解所有的方程式。这更像是一种直觉上的物理学理解。 Lex: 好的,这种直觉上的物理学理解,那是基础层。那是人们有时称之为常识的东西。它确实理解了一些东西。我认为这真的让很多人感到惊讶。这让我震惊,我之前竟然认为不理解就无法生成那种程度的真实感。有一种观念认为,你只能通过拥有一个具身人工智能系统,一个与世界互动的机器人,来理解物理世界。这是构建对世界理解的唯一途径。但VEO3似乎直接挑战了这一点。 德米斯: 是的。这非常有趣,即使你5年或10年前问我,即使我当时沉浸在所有这些之中,我也会说,是的,你可能需要理解直觉物理学。比如,如果我把这个玻璃杯从桌子上推下去,它可能会摔碎,液体会溅出来,对吧?所以我们都知道这些事情。但我当时认为,你知道,神经科学中有很多理论,叫做行动中的感知,即你需要在世界中行动才能真正地以深刻的方式感知它。并且有很多对于你需要具身智能或机器人技术或其他东西,或者至少是模拟行动的理论,这样你才能理解诸如直觉物理学之类的事情。但看起来你可以通过被动观察来理解它,这对我来说非常令人惊讶。 而且,我认为这再次暗示了对于现实本质的某些深层东西,在我看来,不仅仅是它生成的那些酷炫视频。当然,下一个阶段可能是让这些视频具有互动性。这样人们就可以真正地进入它们并在其中移动,这将是真正令人震惊的,特别是考虑到我的游戏背景。所以你可以想象。然后我认为,你知道,我们开始接近我所说的世界模型,一个对于世界如何运作、世界的机制、世界的物理学以及世界中事物运作的模型。当然,这对于真正的通用人工智能(AGI)系统来说是必需的。 Lex: 我必须和你谈谈电子游戏。所以你有点在钓鱼。我认为你在推特(现在的X)上越来越开心了,很高兴看到这一点。所以有个叫吉米·阿普尔斯的人发推文说,让我玩一个基于我的VEO3视频的电子游戏吧。谷歌做得如此出色,可玩的世界模型何时推出,拼写为H-E-N,问号。然后你转发了那条推文,还配文说,那岂不是一件很棒的事情?那么用人工智能构建游戏世界有多难?也许,你能展望一下视频游戏的未来,5年,10年后吗? 德米斯: 你觉得会是什么样的?嗯,游戏实际上是我的初恋,为游戏开发人工智能是我青少年时期第一份专业工作,也是我构建的第一个大型人工智能系统。而且我一直想,我想有一天能止痒,然后回到那个领域。所以,你知道,我会做的,我想。而且我想我会梦想着,如果我在90年代就能接触到我们今天拥有的人工智能系统,我会做些什么?而且我认为你可以构建出绝对令人震惊的游戏。 我认为下一个阶段是,我一直喜欢制作,我制作的所有游戏都是开放世界游戏。所以它们是这样一种游戏:其中有一个模拟,然后有AI角色,然后玩家与该模拟互动,而模拟会适应玩家的玩法。我一直觉得它们是最酷的游戏,比如我参与制作的《主题公园》之类的游戏,每个人的游戏体验对他们来说都是独一无二的,因为你实际上是在共同创造游戏,对吧?我们设置参数,我们设置初始条件,然后你作为玩家沉浸其中,然后你与模拟共同创造它。 但当然,编程开放世界游戏非常困难。你必须能够创造内容,无论玩家朝哪个方向前进,而且你希望无论玩家选择什么,它都引人入胜。因此,实际上很难构建像细胞自动机这样的东西,即创建某种涌现行为的经典系统。但它们总是有点脆弱,有点局限性。现在,我们可能在未来几年,5到10年内,即将拥有能够真正围绕你的想象力进行创作的AI系统,现在可以动态地改变故事,围绕叙事进行讲述,并使其无论你最终选择什么都充满戏剧性。所以这就像终极的“选择你自己的冒险”式游戏。我认为也许我们触手可及,如果你想到一种互动版本的VEO,然后将其向前推进5到10年,想象一下它会有多好。 Lex: 是的,你刚才说了很多非常有趣的东西。首先,其中内置的开放世界是一种深度个性化,正如你所描述的那样。所以不仅仅是开放世界,比如你可以打开任何一扇门,然后里面会有东西。而是以一种不受约束的方式选择你打开哪扇门,定义了你所看到的世界。 所以有些游戏试图这样做,它们给你选择,但实际上只是一种选择的幻觉,就像《史丹利的寓言》(Stanley Parable)一样,这是我本打算玩的游戏。实际上,只有几扇门,它只是把你带入一个叙事中。《史丹利的寓言》是一个很棒的电子游戏,我推荐大家玩,它以一种元方式嘲弄了选择的幻觉,并且存在对于自由意志的哲学概念等等。但我确实喜欢我最喜欢的游戏之一,《上古卷轴》(Felder Scrolls),《匕首雨》(Daggerfall),我相信,他们真的玩弄了一种,比如随机生成地牢的方式。是的。如果你能介入,他们会给你一种开放世界的感觉。而且,你提到了互动性,你不需要互动,这是第一步,因为你不需要互动那么多,只是当你打开门时,你所看到的一切都是为你随机生成的。这已经是一种难以置信的体验了,因为你可能是唯一一个看到它的人。 德米斯: 是的,完全正确。所以,但你想要的可能比仅仅是某种随机生成要好一点,对吧?所以你希望,而且比简单的A、B硬编码选择要好,对吧?那不是真正的开放世界,对吧?正如你所说,那只是给你一种选择的错觉。你想能够做到的是在这个游戏环境中潜在地做任何事情。而且我认为实现这一点的唯一方法是拥有生成系统,即能够动态生成内容的系统。当然,你不能创造无限数量的游戏资产,对吧?如今3A游戏的制作成本已经非常高昂了。 而且早在90年代,当我制作所有这些游戏时,这对我们来说是很明显的。我认为《黑与白》可能是我早期参与制作的游戏,它可能仍然拥有最好的AI,即学习型AI。这是一个早期的强化学习系统,你负责照看这个神话般的生物,并让它成长和被培养。根据你对待它的方式,它会以同样的方式对待那个世界的村民。所以如果你对它很刻薄,它也会很刻薄。如果你很友善,它就会有保护欲。所以它实际上是你玩游戏方式的一种反映。所以实际上,在我职业生涯的初期,我一直在通过游戏媒介研究模拟和AI。实际上,我今天所做的一切仍然是从早期那些更硬编码的AI方法,到现在的完全通用的学习系统的一个延续,它们都在试图实现同样的目标。 Lex: 是的,看到你和埃隆显然都渴望创造游戏真是既有趣又滑稽,而且很有意思,因为你们都是游戏玩家。而你在如此多的科学领域,比如严肃的成人事务方面取得令人难以置信的成功,其中一个令人难过的方面是你可能没有时间真正创造一款游戏。你最终可能会创造出其他人用来创造游戏的工具。你不得不看着别人创造出你一直梦想的东西。你认为你是否有可能在极其繁忙的日程中抽出时间来创造像《黑与白》这样的东西,一个真正的电子游戏,在那里你可以让童年的梦想成为现实? 德米斯: 嗯,当我想到这件事时,有两个想法,也许随着氛围编码技术的改进,有可能在你的空闲时间里做到这一点。所以我对此感到非常兴奋。如果我有时间做一些氛围编码,那将是我的项目。我实际上很想这样做。还有一件事是,也许在AGI(通用人工智能)被安全地管理并交付到世界之后,可以休个学术假。你知道,然后研究我的物理理论,正如我们在开始时谈到的那样,这将是我的两个后AGI项目。就这么称呼它吧。 Lex: 我很想看看后通用人工智能时代你会选择哪个,解决一些人类历史上最聪明的人都在争论的问题。所以P是否等于NP,或者创造一个酷炫的视频。 德米斯: 是的,好吧,但在我的世界里,它们会是相关的,因为它会是一个尽可能逼真的开放世界模拟游戏。所以,你知道,宇宙是什么?这就是在探讨同一个问题,对吧?以及P是否等于NP。我认为所有这些事情都是相关的,至少在我看来是这样。 Lex: 我的意思是,非常严肃地说,我认为电子游戏有时会受到一些贬低。那只是一个有趣的副业活动。但尤其是在人工智能完成越来越多困难、乏味的任务时,我们现代世界称之为工作的那些事,电子游戏可能是我们找到意义所在,找到如何利用时间的方式。你可以创造极其丰富、有意义的体验。就像那是人类的生活一样。然后在电子游戏中,你可以创造更复杂、更多样化的生活方式。是的,我是这么认为的。 德米斯: 我的意思是,我们这些热爱游戏的人,而且我现在仍然热爱,你知道,它几乎可以让你的想象力自由驰骋。对吧?我曾经非常热爱游戏和开发游戏,因为它是一种融合,尤其是在90年代和2000年代初,那个黄金时代,也许是游戏行业的80年代。一切都在被发现。新的游戏类型不断涌现。我们不仅仅是在制作游戏。我们觉得我们正在创造一种前所未有的全新娱乐媒介,尤其是在这些开放世界游戏和模拟游戏中,玩家可以共同创造故事。没有其他媒体,没有其他娱乐媒体能让你做到这一点,让作为观众的你实际参与共同创造故事。当然,现在有了多人游戏,这也可以成为一种非常具有社交性的活动,并可以在其中探索各种有趣的世界。 但另一方面,你知道,享受和体验现实世界也非常重要。但问题是,你知道,我认为我们将不得不再次面对对于现实的本质是什么的问题?这些日益逼真的模拟、多人游戏以及涌现的(emergent)事物与我们在现实世界中所做的事情之间,区别将是什么? Lex: 是的,体验真实世界的自然风光显然具有巨大的价值。亲身体验他人,就像我们今天坐在这里一样,也具有巨大的价值。但是我们需要真正科学地、严格地回答这个问题,为什么?以及其中哪些方面可以映射到虚拟世界中?没错。而且仅仅说,是啊,你应该去接触草地,在自然中闲逛,这还不够。这就像,那样做究竟为什么有价值? 德米斯: 是的,我想这也许就是从我职业生涯一开始就一直困扰我、让我着迷的事情。如果你考虑我所做的所有不同的事情,它们都以那种方式相关联。模拟,现实的本质,以及可以被建模的范围的界限是什么? 德米斯: 我不知道。这是个有趣的问题。我的意思是,我们都热爱游戏,而且有趣的是,他最初也是通过编写游戏起家的。这很可能,尤其是在我成长的年代,80年代末和90年代家用电脑刚刚兴起的时候,尤其是在英国。我有一台Spectrum,然后是Commodore Amiga 500,这是我最喜欢的电脑。这就是我学习所有编程的原因。当然,编程是一件非常有趣的事情,尤其是游戏编程。所以我认为这是一种学习编程的好方法,可能现在仍然是。然后,当然,我立即将它引向了人工智能和模拟的方向,所以我能够同时表达我对游戏和我更广泛的科学兴趣。 我认为游戏的最后一个伟大之处在于,它将艺术设计、美术与最前沿的编程融合在一起。所以同样,在90年代,所有最有趣的技术进步都发生在游戏领域,无论是人工智能、图形、物理引擎、硬件,甚至是GPU,当然,最初都是为游戏设计的。因此,90年代推动计算机技术进步的一切都归功于游戏。所以有趣的是,那是研究的前沿领域。而它是艺术、图形以及音乐的不可思议的融合,以及全新的叙事媒体。我喜欢那样。对我来说,这种多学科的努力又是我一生都在享受的事情。 Lex: 我得问你,我几乎忘记了最近发生的众多事情中的一件,我认为也是最不可思议的事情之一,不知何故,这件事还没有得到足够的关注,那就是Alpha Evolve。我们稍微谈到了进化,但它是谷歌DeepMind的系统,可以进化算法。像这种类似进化的技术,作为未来超级智能系统的组成部分,有希望吗?所以对于那些不了解的人来说,可以这么说,我不知道这么说是否公平,它是LLM引导的进化搜索。所以进化算法在进行搜索,而LLM告诉你搜索的方向。 德米斯: 是的,完全正确。所以LLM有点像提出一些可能的解决方案,然后你在此基础上使用进化计算来找到搜索空间中的一些新颖部分。所以实际上,我认为这是一个非常有希望的方向的例子,你可以将LLM或基础模型与其他计算技术相结合。进化方法是一种,但你也可以想象蒙特卡洛树搜索,基本上许多类型的搜索算法或推理算法都建立在或使用基础模型作为基础。所以我实际上认为,通过这些混合系统(我们这样称呼它们),可能会发现很多有趣的东西。 Lex: 但不要把进化浪漫化。是的。我只是个普通人,但你认为无论那种机制是什么,都有其价值吗?因为我们已经谈论过自然系统了。你是否认为,在理解、建模和模拟进化方面,有很多唾手可得的成果,然后利用我们所理解的对于自然启发机制的一切,从而使搜索做得越来越好? 德米斯: 因此,如果你再次考虑将我们构建的系统分解为真正基本的核心,你会得到系统底层动态的模型。然后,如果你想发现一些新的、以前从未见过的东西,那么你需要某种搜索过程来把你带到搜索空间的一个新的区域。你可以通过多种方式做到这一点。进化计算就是其中之一。有了AlphaGo,我们只是使用了蒙特卡洛树搜索,对吧?这就是找到第37步的原因,围棋中前所未见的全新策略。这就是你如何超越可能已知的范围。所以这个模型可以模拟你目前所知道的一切,对吧?所有你目前拥有的数据,但是你如何超越它呢?这就开始谈到创造力的概念。这些系统如何创造新的事物,发现新的事物?显然,这与科学发现或推动科学和医学进步超级相关,而这正是我们想用这些系统做的事情。实际上,你可以在这些模型之上附加一些相当简单的搜索系统,并将你带入一个全新的空间区域。当然,你还必须确保你没有完全随机地搜索那个空间。那样会太大了。所以你必须有一个你试图优化的目标函数,并且朝着它进行爬山算法,从而指导搜索。 Lex: 但是有一些有趣的进化机制,可能在程序的空间中,而程序的空间是一个极其重要的空间,因为你可能可以将其推广到所有事物。但例如,突变。所以它不仅仅是蒙特卡洛树搜索,而像是一种搜索。你可以偶尔——组合事物,是的。组合事物,比如事物的组成部分。所以进化真正擅长的不仅仅是自然选择,还在于组合事物并构建日益复杂的层级系统。所以那个组成部分非常有趣,特别是像Alpha Evolve在程序空间中的应用。 德米斯: 是的,没错。因此,你可以从进化系统中获得一些额外的属性,即可能会出现一些新的涌现能力。当然,就像生命发生的那样。有趣的是,使用不含大型语言模型和现代人工智能的朴素的传统进化计算方法,它们的问题在于,在90年代和2000年代初得到了很好的研究,并取得了一些有希望的结果。但问题是,他们始终无法弄清楚如何进化出新的属性,新的涌现属性。你总是拥有你放入系统中的属性的某种子集。但也许如果我们把它们和这些基础模型结合起来,也许我们可以克服这个限制。 显然,自然进化确实做到了,因为它确实进化出了新的能力,对吧?从细菌进化到我们现在这样。因此,很明显,进化系统必须能够生成新的模式,回到我们谈到的第一件事,以及新的能力和涌现属性。也许我们正处于发现如何做到这一点的风口浪尖。 Lex: 是的,听着,“阿尔法进化”是我见过的最酷的东西之一。我在家里的办公桌上,大部分时间都花在那台电脑上,只是编程。在三个屏幕旁边是一个提塔利克鱼的头骨,它是早期从水中爬到陆地上的生物之一。我只是看着那个小家伙。这就像,无论进化的计算机制是什么,它都非常不可思议。真是,真是不可思议。现在,这是否正是我们需要用来进行搜索的方法,但永远不要忽视自然的力量及其在此所做的事情。 德米斯: 是的。令人惊叹的是,这实际上是一个相对简单的算法,对吧。它可以产生所有这些巨大的复杂性。显然,它是在超过40亿年的时间里运行而产生的。但是,你可以再次将其视为一个搜索过程,该过程在宇宙的物理基质上运行了很长的计算时间。但随后它产生了所有这些令人难以置信的、丰富的多样性。 Lex: 所以,我有很多问题想问你。所以首先,你确实有一个梦想。你想尝试建模的自然系统之一是细胞。这是一个美丽的梦想。我可以问你对于那个的问题。还有,就为此目的而言,在人工智能科学家方面,只是泛泛地说。所以丹尼尔·科卡塔格里奥、斯科特·亚历山大和其他人写了一篇文章,概述了通往人工智能超智能的步骤。它有很多有趣的观点,其中之一是包括一个超人类程序员和一个超人类人工智能研究员。在那篇文章中,有一个“研究品味”的术语非常有趣。所以在你所看到的一切中,你认为人工智能系统有可能拥有研究品味吗?能够像人工智能合作科学家那样帮助你,帮助引导人类,人类杰出的科学家,然后可能靠自己弄清楚你想在哪些方向上产生真正新颖的想法?因为这似乎是做好伟大科学的一个非常重要的组成部分。 德米斯: 是的,我认为品味或判断力这个概念将是最难模仿或建模的事情之一。我认为这就是伟大科学家和优秀科学家的区别所在。像所有专业的科学家在技术上都很好,否则他们不会在学术界等方面取得如此大的成就。但是你是否有品味去嗅出正确的方向是什么,正确的实验是什么,正确的问题是什么。所以选择正确的问题是科学中最难的部分,以及提出正确的假设。这也是今天的系统绝对无法做到的。 所以我经常说,提出一个猜想,一个真正好的猜想,比解决它更难。所以我们可能很快就会有能够解决相当困难的猜想的系统。你知道,我参与了数学奥林匹克竞赛的问题,我们,你知道,去年的 Alpha Proof,我们的系统在那次竞赛中获得了银牌,题目非常难。也许最终我们能够解决一个千禧难题。但是一个系统能否提出一个值得研究的猜想,让像陶哲轩这样的人会说,你知道吗,这是一个对于数学本质、数字本质或物理本质的非常深刻的问题。那是一种更难的创造力。我们现在真的不知道,今天的系统显然做不到这一点。而且我们不太确定那种机制会是什么,这种想象力的飞跃,就像爱因斯坦在提出狭义相对论,然后根据他当时的知识提出广义相对论时所拥有的。 Lex: 对于猜想,你想要提出一个有趣的东西,它易于证明。是的。所以,很容易提出一个极其困难的东西。很容易提出一个极其容易的东西,但就在那个边缘。那个最佳点,对吧? 德米斯: 基本上是推进科学发展,并将假设空间理想地分成两部分,对吗?无论它是真是假,你都学到了一些非常有用的东西。那很难。并且制造出一些可证伪的东西,并在你目前可用的技术范围内。所以这实际上是一个非常有创造性的过程,一个高度创造性的过程,我认为仅仅在模型之上进行一种幼稚的搜索是不够的。 Lex: 好的,将假设空间分成两部分的想法非常有趣。所以我听你说过,基本上不存在失败,或者如果问题构建得当,实验构建得当,设计得当,那么失败就非常有价值,也就是说,失败或成功都是有用的。所以也许因为它将假设空间分成两部分,就像一个二分搜索。 德米斯: 没错。所以当你做真正的蓝天研究时,实际上并不存在失败,只要你选择的实验和假设能够有意义地分割假设空间。所以,你知道,如果你学到了一些东西,你可以从一个不成功的实验中学到同样有价值的东西。这应该能告诉你实验设计是否合理,以及你的假设是否有趣,它应该能告诉你接下来该往哪个方向走。然后你实际上是在做一个搜索过程,并以非常有用的方式利用这些信息。 Lex: 所以要实现你建模细胞的梦想,我们未来会面临哪些重大挑战?我们或许应该强调一下AlphaFold,我的意思是,这里面有很多飞跃。所以,如果说AlphaFold解决了蛋白质折叠问题,这是很公平的,而且有很多令人难以置信的事情可以讨论,包括开源、你发布的一切。AlphaFold 3正在进行蛋白质、RNA、DNA的相互作用,这非常复杂且引人入胜。它适合建模。AlphaGenome预测了微小的基因变化,比如如果我们考虑单点突变,它们如何与实际功能联系起来。所以,这看起来进展缓慢。从复杂到像细胞这样更复杂的东西,但是细胞有很多非常复杂的组成部分。 德米斯: 是的,所以我整个职业生涯都在尝试做的事情就是,我有一些非常宏伟的梦想。然后我尝试,正如你注意到的,然后我尝试分解,但我尝试分解它们。任何,你知道,拥有一个疯狂的雄心勃勃的梦想很容易,但诀窍在于如何将其分解为可管理的、可实现的、有意义且有用的中间步骤。因此,虚拟细胞,我这样称呼模拟细胞的项目,你知道,我一直想做这件事,可能已经超过25年了。 我过去经常和保罗·纳斯交谈,他是我在生物学方面的一位导师。他负责,你知道,创立了克里克研究所,并在2001年获得了诺贝尔奖。我们一直在谈论这件事,你知道,在90年代之前。我过去每五年回来一次,就像,你需要什么来模拟细胞的完整内部结构,以便你可以在虚拟细胞上做实验,以及那些实验,你知道,在计算机上,并且这些预测对你来说是有用的,可以为你节省大量的湿实验室时间,对吧?那将是梦想。也许你可以通过在计算机上完成大部分工作,在计算机上进行搜索,然后你在湿实验室中进行验证步骤,从而将实验速度提高100倍。那会是,那是梦想。 所以,但也许现在终于,所以我试图构建这些组件,AlphaFold只是其中之一,它最终能让你模拟完整的互动,一个细胞的完整模拟。我可能会从酵母细胞开始,部分原因是保罗·纳斯研究过酵母细胞,因为酵母细胞就像一个完整的单细胞生物,对吧?所以它是最简单的单细胞生物。所以它不仅仅是一个细胞,它是一个完整的生物体。而且人们对酵母的了解非常透彻。所以这将是进行完整模拟模型的一个好选择。 现在,AlphaFold是解决蛋白质静态图像的方案,即3D结构蛋白看起来是什么样子的,它是静态图像。但是我们知道生物学中,所有有趣的事情都发生在动态、互动中。而AlphaFold3是朝着模拟这些互动迈出的第一步。所以首先,成对地,你知道,蛋白质与蛋白质,蛋白质与RNA和DNA。但在那之后的下一步可能是建模整个通路,可能像参与癌症的TOR通路或类似的东西。然后最终你也许能够建模,你知道,整个细胞。 Lex: 此外,这里还有另一个复杂性,细胞中的物质发生在不同的时间尺度上。那很棘手吗?这就像,你知道,蛋白质折叠是,你知道,超级快。我不了解所有的生物机制,但其中一些需要很长时间。是的。所以这是一个层次。因此,交互的层次具有不同的时间尺度,你必须能够对其进行建模。 德米斯: 所以那会很难。所以你可能需要几个模拟系统,它们可以在这些不同的时间动态中相互作用,或者至少可能像一个分层系统。所以你可以上下跳跃于不同的时间阶段。 Lex: 所以你能否避免,我的意思是,这里的一个挑战是不避免模拟,例如,任何这些的量子力学方面,对吧?你想要避免过度建模。你可以跳过,直接建模真正高层次的东西,从而让你对即将发生的事情有一个非常好的估计。 德米斯: 是的,所以你在建模任何自然系统时必须做出决定,你要建模的粒度截止水平是什么,然后它捕获你感兴趣的动态。所以可能对于一个细胞来说,我希望那会是蛋白质水平,而且不必下降到原子水平。所以,你知道,当然,这就是AlphaFold大显身手的地方。所以这将是基础,然后你将构建这些更高层次的模拟,将这些作为构建块,然后你得到涌现行为。 Lex: 提前为接下来可能很傻的问题道歉,但你认为我们能够模拟一个对于生命起源的模型吗?所以能够模拟第一个,从非生物有机体到生物有机体的诞生。 德米斯: 我认为这是其中一个,当然,是最深刻和最引人入胜的问题之一。我喜欢生物学的那个领域。你知道,有些人像,尼克·莱恩写了一本很棒的书,他是这个领域的顶级专家之一,书名叫《进化的10大伟大发明》。我觉得这本书太棒了,它也说明了伟大的过滤器可能是什么,但是,你知道,它们是在我们之前还是在我们之后?如果你读过那本书,我认为它们很可能存在于过去,书中讲述了生命出现的可能性有多小,然后从单细胞到多细胞似乎是一个难以置信的巨大飞跃,我认为这在地球上花费了大约10亿年的时间才完成,对吧?所以它告诉你这有多么困难,对吧? 德米斯: 在它们以某种方式捕获线粒体之前,经历了非常长的一段时间,对吧?我看不出为什么不,为什么人工智能不能在这方面提供帮助,某种模拟。再次强调,这又是一个在组合空间中进行搜索的过程。这是所有的,你知道的,化学汤,你开始的地方,原始汤,你知道的,也许它在地球上,在这些热喷口附近。这是是一些初始条件。你能产生一些看起来像细胞的东西吗?所以或许虚拟细胞项目之后的下一个阶段是,好吧,你实际上如何能让类似的东西从化学汤中涌现出来? Lex: 嗯,如果生命起源有第37步就好了。我认为这是那种伟大的谜团之一。我认为最终我们会弄清楚它们是连续的,不存在非生命和生命之间的界限。但如果我们能使之严谨。是的。从大爆炸到今天,整个过程都是一样的。如果我们能够打破我们头脑中构建的从非生命到生命的实际起源的壁垒,并且它不是一条线,而是一个连接物理、化学和生物学的连续体。是的,没有界限。 德米斯: 我的意思是,这就是我一生致力于人工智能和通用人工智能的全部原因,因为我认为它可以成为帮助我们回答这类问题的终极工具。我不太明白为什么普通人不会更担心这些事情。例如,我们怎么能没有对生命、非生命和无生命、时间的本质,更不用说意识、引力以及所有这些事物有一个好的定义呢。还有,量子力学的怪异之处。对我来说,我一直有这种在我面前尖叫的感觉。整个,我需要那个,它变得越来越响。你知道,就像,怎么回事,这里发生了什么?我指的是最深刻的意义,比如现实的本质,这必须是能够回答所有这些问题的终极问题。如果你仔细想想,这有点疯狂。我们可以互相凝视,也可以一直观察所有这些生物,我们可以在显微镜下检查它们,几乎可以将它们分解到原子层面。然而,我们仍然无法用一种简单的方式清楚地回答这个问题:你如何定义生命?这有点令人惊奇。 Lex: 对于生命,你可以通过某种方式避免思考它,但就像意识一样,我们显然有这种主观的意识体验。就像我们处于自己世界的中心,并且感觉像是某种东西。然后,你怎能不对这一切的神秘感到惊呼呢?我的意思是,但实际上,人类一直在与周围世界的神秘作斗争,已经很久很久了,存在着许多谜团。比如太阳和雨是怎么回事?这是怎么回事?比如去年我们有很多雨,而今年我们没有雨。我们究竟做错了什么?人类已经问这个问题很久了。 德米斯: 所以我们相当,我想我们已经发展出许多机制来应对这些,这些我们无法完全理解的深刻奥秘,我们能看到,但我们无法完全理解。我们必须继续日常生活。我们让自己保持忙碌,对吧?在某种程度上,我们是否让自己分心了? Lex: 我的意思是,天气是人类历史上最重要的问题之一。我们仍然,天气是首选的闲聊话题。是的,尤其是在英国。然后就是,众所周知,这是一个极其难以建模的系统。即使是那个系统,谷歌DeepMind也取得了进展。 德米斯: 是的,我们有。我们已经创造了世界上最好的天气预测系统,它们比通常在大型超级计算机上计算的传统流体动力学系统更好,后者需要几天时间来计算。我们已经设法用神经网络系统,用我们的WeatherNet系统,模拟了许多天气动态。而且,有趣的是,即使这些动态非常复杂,在某些情况下几乎接近混沌系统,但它们仍然可以被建模。很多有趣的方面都可以通过这些神经网络系统来建模,包括最近我们做的,对于飓风部分可能走向的飓风预测,当然,这对世界来说非常有用,非常重要。而且非常及时、非常快速以及非常准确地做到这一点至关重要。我认为这是一个非常有前景的方向,可以用来模拟,这样你就可以对非常复杂的现实世界系统进行前瞻性预测和模拟。 Lex: 我应该提一下,我在德克萨斯州有机会遇到一个被称为“追风者”的群体。是的。对于他们真正令人难以置信的是,我需要和他们多聊聊,他们对技术非常精通,因为他们必须使用模型来预测风暴的位置。所以这是一种奇妙的结合,既要足够疯狂去进入风暴眼,又要为了保护你的生命并预测极端事件将发生在哪里,他们必须拥有越来越精密的 weather 模型。是的,这是一种美妙的平衡,既要像生物体一样身处其中,又要掌握最前沿的科学。所以他们实际上可能会使用 DeepMind 系统。所以那是... Lex: 你估计我们将在2030年实现通用人工智能(AGI)。所以围绕这一点存在着有趣的问题。我们如何才能真正知道我们已经达到了目标?通用人工智能的第37步棋可能是什么? 德米斯: 我的估计是在未来五年内有大约50%的几率。所以,你知道,比如说,到2030年。所以我认为很有可能发生这种情况。其中一部分取决于你对通用人工智能的定义是什么?当然,人们现在正在争论这个问题。而我的标准一直很高,比如,我们能否匹配大脑所拥有的认知功能?所以我们知道我们的大脑几乎是通用的图灵机,近似的。当然,我们用我们的头脑创造了令人难以置信的现代文明。这也说明了大脑的普遍性。 为了知道我们是否拥有真正的人工通用智能(AGI),我们必须确保它拥有所有这些能