文: Web3天空之城| 未经许可不得转载[城主说]:在这一次最新深度对话中，Anthropic联合创始人Ben Mann(原OpenAI GPT-3的创始架构师)分享了他对AGI（通用人工智能）时间线的预测（50%概率在2028年左右），并阐述了为何将AI安全作为首要任务，这也是他离开OpenAI创立Anthropic的核心原因。访谈覆盖了AI人才争夺战、经济图灵测试、AI对就业市场的颠覆性影响、宪法式AI（Constitutional AI）等核心技术，以及如何通过培养好奇心和适应性来应对未来的变革。Ben Mann强调，尽管通往安全超级智能的道路充满不确定性，但现在正是确保人类未来繁荣的关键时期。核心观点摘要“我认为现在达到某种超级智能的50%概率大约是2028年。”“我们觉得安全在OpenAI不是首要任务……在Anthropic，我们的最佳情况是，我们能影响人类的未来。”“超级智能很大程度上是对于，我们如何将上帝关在盒子里？……一旦我们达到超级智能，对齐模型就为时已晚。”“Claude模型的个性，是我们对齐研究的直接结果。这关乎人工智能理解人们想要什么，而不是他们说了什么。”“对于可能出现的生存风险或极其糟糕的结果，我最好的预测介于0%到10%之间。即使可能性很小，但由于几乎没人研究，研究它就极其重要。”“在一个劳动力几乎免费的富足世界里，工作会是什么样子？……他们称之为奇点，部分原因是它就像一个临界点，超过这个点，你很难预测会发生什么。”“现在是非常疯狂的时代。如果你觉得并不疯狂，那你一定是与世隔绝了。但也要习惯它，因为这就是常态。很快会变得更加奇怪。”AI人才争夺战与加速发展的现实 当前AI领域的竞争激烈程度，在人才市场上表现得淋漓尽致。当被问及Meta等巨头不惜以过亿美元的薪酬方案从顶尖实验室挖角时，Ben Mann认为这恰恰是时代价值的体现。“我们正在开发的技术极具价值，”他坦言，“如果你仅仅思考一下个人对公司发展轨迹的影响程度……支付个人1亿美元的四年期薪酬方案，与为公司创造的价值相比，实际上相当便宜。” 然而，他强调，Anthropic在这次人才争夺战中受影响相对较小，其核心原因在于公司强烈的使命驱动。“这里的人……会说，‘当然我不会离开，因为我在Meta的最佳情况是我们能赚钱。而我在Anthropic的最佳情况是，我们能影响人类的未来’。”这种使命感，正是Anthropic凝聚顶尖人才的关键。 对于外界普遍感受到的“AI发展正在放缓”的论调，Mann则给出了截然相反的判断。他认为，这是一种因迭代速度过快而产生的错觉。“进展实际上正在加速，”他解释道，“以前模型发布大约是一年一次，现在则是每月或每三个月。这就像一次接近光速的旅行，时间膨胀正在增加。”他坚信，作为AI发展基石的“规模定律”（Scaling Laws）依然有效，并且随着从预训练到强化学习的演进，其潜力远未耗尽。真正的瓶颈并非技术本身，而是我们提出更好基准和目标的能力。 对于行业热议的AGI（通用人工智能），Mann倾向于使用一个更具现实意义的术语——“变革性人工智能”（Transformative AI）。其核心判断标准并非机器能否像人一样思考，而是它是否能引发实质性的社会与经济变革。 他引用了“经济图灵测试”这一概念来具体衡量：“如果你为一个特定的工作以合同形式聘请一个代理人，而结果证明它是一台机器而不是人，那么它就通过了该角色的经济图灵测试。”当AI能够通过约50%（按金额加权）的工作岗位的测试时，就意味着变革性AI的到来。Mann和他的CEO Dario Amodei都预见到，这可能导致高达20%的失业率，尤其是在白领工作中。 Mann进一步指出，人们低估了AI对工作场所的渗透速度，部分原因在于人类不擅长理解指数级增长。“它看起来是平坦的，然后突然你到达曲线的拐点，事情变化得非常快。”他以客户服务和软件工程为例，“在客户服务方面，我们看到像FIN和Intercom这样的公司，82%的客户服务问题都能自动解决。在软件工程方面，我们的云代码（Claude）团队，大约95%的代码是由云编写的。” 他预言，未来20年，当世界越过“奇点”，资本主义的形态本身都可能发生改变。在一个劳动力近乎免费的富足世界里，工作的定义将被彻底颠覆。 Anthropic的创立故事，本身就是对AI安全重要性的一次宣言。Mann与多位核心成员均来自OpenAI的GPT-3项目，他们离开的根本原因，在于对安全优先级的认知分歧。“当关键时刻来临时，我们觉得安全在OpenAI并不是最重要的，”Mann回忆道，“这基本上是OpenAI所有安全团队的负责人（共同的感受）。我们认为安全真的非常重要，尤其是在边缘情况下。” 这种坚持，源于对潜在风险的清醒认识。Mann引用了其内部制定的AI安全等级（ASL）来说明：目前模型处于ASL 3级，有一定危害风险；ASL 4级可能被滥用于造成重大伤亡；而ASL 5级则可能达到灭绝级别的生存风险（X-risk）。“我们已经向国会作证，说明模型如何在制造新流行病方面进行生物提升，”他严肃地指出，“一旦我们达到超级智能，可能就太迟了，无法对齐模型。” Anthropic选择了一条更艰难但也更负责任的道路：主动暴露模型的潜在风险，以此推动整个行业的警觉和政策制定。“我们努力做到让他们可以信任我们，我们不会粉饰太平或美化事情。” 这个过程，是将一套类似宪法的原则——其内容源自《联合国人权宣言》、苹果的服务条款等——融入模型的训练中。“我们会要求模型本身首先生成一个响应，然后看看该响应是否真的遵守宪法原则，”Mann解释道，“如果答案是‘不’，那么我们会要求模型本身批判自己，并根据该原则重写自己的响应。”这种递归式的自我修正，旨在让模型内化一套符合人类普世价值的“道德观”。 这一过程产生了意想不到的积极效果：塑造了Claude模型独特的人格。“人们真正喜欢它的一点是它的个性和人格。这是我们对齐研究的直接结果，”Mann说。一个更可靠、诚实且不易谄媚（sycophancy）的AI，其本身就是安全性的体现。“这关乎人工智能理解人们想要什么，而不是他们说了什么……我们不想要那种猴爪场景。”这种通过价值观构建信任的路径，是Anthropic在商业竞争中独树一帜的护城河。 面对即将到来的剧变，个人应如何自处？Mann的建议并非学习某种特定技能，而是培养更底层的核心素养。首先是在使用工具方面要有雄心壮志。他鼓励人们大胆尝试使用AI工具完成看似不可能的任务，并保持耐心，“如果第一次不成功，就再尝试三次。” 而对于下一代的教育，他的关注点更是远离了传统的学业竞争。“我只希望她快乐、有思想、好奇和善良，”他谈及自己的女儿时说，“我认为那正是我认为最重要的教育类型。事实将会逐渐淡出背景。”在他看来，好奇心、创造力和善良这些核心人类品质，将是在AI时代保持自身价值和幸福感的关键。 与Ben Mann的对话，让人深刻感受到一种交织着兴奋与忧虑的复杂情绪。他既是推动技术指数级发展的引擎，也是试图为这列飞速行驶的列车铺设安全轨道的工程师。他相信，人类极有可能迎来一个前所未有的繁荣未来，但也清醒地认识到，那条通往美好未来的道路极其狭窄，稍有不慎就可能坠入深渊。 他留给世界的，既是警告，也是一种务实的行动指南。在一个变化本身就是唯一确定的时代，保持警醒、拥抱工具、坚守人性，或许是我们每个人能做的最好准备。正如他最后所总结的那样，一个简单而深刻的预言： Ben Mann: 我们觉得安全在那里不是首要任务。安全的理由已经变得更加具体。因此，超级智能很大程度上是对于，我们如何将上帝关在盒子里，不让上帝出来？我们正确对齐AI的几率有多大？一旦我们达到超级智能，对齐模型就为时已晚。我对可能出现X风险或极其糟糕结果的最佳粒度预测介于0%到10%之间。 Ben Mann: 我们受到的影响要小得多，因为这里的人，他们收到这些offer后会说，当然我不会离开，因为我在Meta的最佳情况是我们可以赚钱。而我在Anthropic的最佳情况是我们可以影响人类的未来。 主持人: 今天，我的嘉宾是本杰明·曼。天啊，这真是一场精彩的对话。Ben是Anthropic的联合创始人。他担任产物工程的技术主管。他将大部分时间和精力集中在使人工智能变得有益、无害和诚实上。在加入Anthropic之前，他是OpenAI的GPT-3架构师之一。在我们的对话中，我们涵盖了很多方面，包括他对顶尖人工智能研究人员招聘战的看法，他为什么离开OpenAI创办Anthropic，他预计我们多久能看到AGI（通用人工智能），还有他的经济图灵测试，以此判断我们何时达到AGI，为什么规模定律没有减缓，实际上还在加速，以及目前最大的瓶颈是什么，为什么他如此深切地关注人工智能安全，以及他和Anthropic如何将安全和对齐融入到他们构建的模型和他们的工作方式中，还有来自人工智能的生存风险如何影响了他自己对世界的看法和他自己的生活，以及他鼓励他的孩子们学习什么才能在人工智能的未来取得成功。 主持人: 本，非常感谢你来到这里。我有一大堆问题想问你。我非常高兴能和你聊天。我想从一些非常及时的事情开始，一些本周正在发生的事情。 主持人: 目前新闻中的一件事情是扎克伯格正在招揽所有顶尖的AI研究人员，提供给他们1亿美元的签约奖金和1亿美元的薪酬。他正在从所有顶尖的AI实验室挖人。我认为你也在处理这件事。我只是好奇，你在Anthropic内部看到了什么，你对这个策略有什么看法？你认为事情接下来会如何发展？ Ben Mann: 是的，我的意思是，我认为这是一个时代标志。我们正在开发的技术极具价值。我们的公司发展得非常、非常快。这个领域的许多其他公司也在快速发展。在Anthropic，我认为我们受到的影响可能比这个领域的许多其他公司要小得多，因为这里的人们都非常有使命感。他们留下是因为他们收到了这些offer，然后他们会说，当然我不会离开，因为我在Meta的最佳情况是我们能赚钱。而我在Anthropic的最佳情况是，我们能影响人类的未来，并努力让AI蓬勃发展，人类也能繁荣昌盛。所以对我来说，这不是一个艰难的选择。其他人有不同的生活境况，这使得他们更难做出决定。所以对于任何收到这些巨额offer并接受它们的人，我不会因此而责怪他们，但这绝对不是如果换作是我会接受的东西。 主持人: 是的，我们将讨论你提到的很多事情。对于这些offer，你认为你看到的这个1亿美元的签约奖金是一个真实的数字吗？这是真的吗？我不知道你是否真的见过这样的情况。 Ben Mann: 我很确定这是真的。哇。如果你仅仅思考一下个人对公司发展轨迹的影响程度，就像我们的情况一样，我们的产物非常畅销。如果我们在推理堆栈上获得1%或10%或5%的效率提升，那将价值惊人。因此，支付个人1亿美元的四年期薪酬方案，与为公司创造的价值相比，实际上相当便宜。所以我认为我们正处于一个前所未有的规模时代，而且实际上只会变得更加疯狂。如果你推断公司支出的指数增长，大约每年是2倍，就资本支出而言。今天，我们可能在全球范围内处于整个行业为此支出3000亿美元的范围内。因此，像1亿美元这样的数字只是沧海一粟。但如果你展望未来几年，再翻几番，我们谈论的将是数万亿美元。在那时，就真的很难思考这些数字了。 主持人: 沿着这些思路，很多人对人工智能的进展感到我们在许多方面都遇到了瓶颈。感觉上，较新的模型不如之前的飞跃那样智能。但我知道你不相信这个。我知道你不相信我们在扩展损失方面已经达到了瓶颈。谈谈你看到的，以及你认为人们错过了什么。 Ben Mann: 这有点可笑，因为这种说法大约每六个月出现一次，但从未真实过。所以我希望人们在看到这些时，脑子里能有点辨别真伪的能力。我认为进展实际上正在加速，如果你看看模型发布的节奏，以前大约是一年一次。而现在，随着我们后期训练技术的改进，我们看到每月或每三个月就有发布。所以我会说，在很多方面，进展实际上正在加速。但这里存在一种奇怪的时间压缩效应。Dario 将其比作一次接近光速的旅行，你在那里度过的一天相当于地球上的 5 天。而且我们还在加速。因此，时间膨胀正在增加。我认为这就是导致人们说进步正在放缓的部分原因。但是如果你看看比例定律，它们仍在继续成立。我们确实需要从正常的预训练过渡到强化学习，从而扩大规模以继续遵守比例定律。但我认为这有点像半导体，重点不再于你可以在芯片上安装多少晶体管，而在于你可以在数据中心安装多少次浮点运算。所以你必须稍微改变一下定义，以便专注于目标。 Ben Mann: 实际上，它能持续到现在，对我来说非常令人惊讶。如果你看看物理学的基本定律，许多定律在 15 个数量级上都不成立。所以这非常令人惊讶。 主持人: 这简直难以置信。所以你基本上是在说，我们看到更新的模型发布得更频繁了。因此，我们将其与上一个版本进行比较。而且我们并没有看到太多的进步。但是，如果你回想一下，如果一个模型一年发布一次，那将是一个巨大的飞跃。所以人们忽略了这一点。我们只是看到了更多的迭代。 Ben Mann: 我想为了更慷慨地对待那些说事情正在放缓的人，我认为对于某些任务来说，我们正在饱和完成该任务所需的智能量。也许是从一个已经有表单字段的简单文档中提取信息，或者类似的事情。 Ben Mann: “数据看世界”上有一张很棒的图表显示，当你在6到12个月内发布新的基准时，它会立即饱和。所以也许真正的约束是，我们如何才能提出更好的基准，以及使用工具的更好的目标，从而揭示我们现在看到的智能上的进步。 Ben Mann: 我认为AGI有点用词不当。所以我倾向于不再在内部使用它。相反，我喜欢“变革性人工智能”这个术语，因为它不太关注它是否能像人一样做那么多事情？它是否能做到所有的事情？更多的是客观地看，它是否正在引起社会和经济的变革？衡量它的一个非常具体的方法是经济训练测试。这不是我想出来的，但我真的很喜欢它。它的想法是，如果你为一个特定的工作以合同形式聘请一个代理人一个月或三个月，如果你决定雇用该代理人，而结果证明它是一台机器而不是人，那么它就通过了该角色的经济训练测试。然后，你可以像衡量购买力平价或通货膨胀一样，以类似的方式扩展它，有一个商品篮子。你可以有一个像工作市场篮子一样的东西。如果该代理人能够通过大约50%的按金额加权的工作的经济训练测试，那么我们就拥有了变革型人工智能。确切的阈值其实没那么重要，但它有点说明意义，比如，如果我们通过了那个阈值，那么我们预计世界GDP、增长和社会变革、以及有多少人被雇用等等方面都会产生巨大的影响。因为社会机构和组织具有粘性。改变是很缓慢的。但是一旦这些事情成为可能，你就知道这是一个新时代的开始。 主持人: Rimas 沿着这些思路，Dario，你的CEO，最近谈到人工智能将占据很大一部分，比如，我不知道，一半的白领工作，失业率可能会上升到20%左右。我知道你对于人工智能已经在工作场所产生的影响，以及人们可能尚未意识到的程度，有着更加直言不讳和固执己见的看法。谈谈你认为人们对人工智能将要对工作产生的影响，以及已经产生的影响，有哪些误解。 Ben Mann: Dario 是的。从经济角度来看，有几种不同类型的失业。其中一种是因为工人不具备从事经济所需的各类工作的技能。另一种是这些工作岗位被彻底淘汰。我认为实际上这将是这些情况的结合。但如果你想想，比如说，20年后的未来，那时我们已经远远超过奇点，我很难想象即使是资本主义看起来也会和今天完全一样。比如，如果我们把工作做好，我们就会拥有安全且符合价值观的超级智能。正如Dario在《充满爱意的机器》中说的那样，我们将在数据中心里拥有一群天才。并且加速科学、技术、教育、数学等领域的积极变革的能力，那将是惊人的。但这也意味着，在一个劳动力几乎免费，你想要做的任何事情都可以请专家为你完成的富足世界里，工作会是什么样子呢？所以我想会有一个可怕的过渡期，从我们今天人们有工作且资本主义运转良好的状态，到20年后的世界，那时一切都将完全不同。但他们称之为奇点，部分原因是它就像一个临界点，超过这个点，你很难预测会发生什么。这种变化的速度太快了，而且非常不同。甚至很难想象。 主持人: 我想继续探讨几个问题。一个是，人们听到了这些，有很多对于这方面的新闻标题。大多数人可能实际上还没有感觉到这一点，或者看到这种情况正在发生。所以总是会有这样的感觉，就像，我想，我不知道，也许吧，但我不知道。很难相信。我的工作看起来还不错。什么都没有改变。你认为人工智能对工作的影响方面，今天已经发生了哪些人们没有看到或者误解的事情？ Ben Mann: 布莱恩，我认为部分原因是人们不擅长模拟指数级增长。如果你在图表上观察一个指数函数，它看起来是平坦的，在开始的时候几乎是零。然后突然你到达曲线的拐点，事情变化得非常快，然后它就垂直上升了。这就是我们长期以来所处的曲线。我想我大概在2019年GPT-2出现时就开始有这种感觉了，当时我就觉得，哦，这就是我们实现AGI的方式。但我觉得和很多人相比，这算是很早的了，很多人看到ChatGPT的时候，才觉得，哇，有什么不一样了，正在发生改变。所以我想我不会期望社会的大部分领域会发生广泛的转变。而且我预计会出现这种怀疑反应。我认为这非常合理。这就像对进步的标准线性观点的精确体现。 但我想引用几个我认为变化很快的领域，在客户服务方面，我们看到像FIN和Intercom这样的公司，他们是我们的重要合作伙伴。82%的客户服务问题都能自动解决，无需人工干预。在软件工程方面，我们的云代码团队，大约95%的代码是由云编写的。但我想另一种表达方式是，我们编写的代码量是原来的10倍或20倍。因此，一个规模小得多的团队可以产生更大、更大的影响。同样地，对于客户服务，是的，你可以将其表述为 82% 的客户服务问题解决率，但这最终使得执行这些任务的人能够专注于这些任务中更困难的部分。并且对于更棘手的情况，在正常情况下，你知道，比如五年前，他们可能不得不放弃那些工单，因为对他们来说，实际去进行调查工作量太大了。他们需要担心的工单太多了。所以我认为在短期内，人们可以完成的劳动量将会大幅增加。比如，我从未在一家成长型公司遇到过招聘经理，并听到他们说，比如，我不想雇佣更多的人。所以这是其中一种充满希望的版本。但是对于那些低技能工作，或者在能做得多好方面没有太多上升空间的工作，我认为将会出现大量的岗位流失。所以这正是我们需要作为一个社会提前关注并努力解决的问题。 主持人: Brian 好的，我想更多地谈谈这个问题。但我也想帮助人们解决的问题是，他们如何在未来的世界中获得优势？你知道，他们，你知道，他们在听这个。他们会想，哦，这听起来不太好。我需要提前思考。我知道你不会有所有的答案，但是对于那些想要努力领先于此，并以某种方式让他们的职业生涯和生活免受人工智能取代的人们，你有什么建议吗？你有没有看到人们做什么，或者你建议他们开始尝试多做些什么？ Ben Mann: 尼克 即使对我来说，我身处很多变革的中心，我也不能幸免于被工作取代。所以这里有一些脆弱性，比如，在某个时候，它会影响到我们所有人。本 甚至是你，本。尼克 还有你，莱尼。莱尼 对不起。莱尼 我们现在走得太远了。尼克 但就过渡时期而言，是的，我认为我们可以做一些事情。我认为其中很重要的一部分就是在使用工具方面要有雄心壮志，并且愿意学习新的工具。使用新工具却像使用旧工具的人往往不会成功。举个例子，当你在编写代码时，你知道，人们非常熟悉自动完成功能。人们熟悉简单的聊天，可以在其中询问对于代码库的问题。但是，高效使用云代码的人和效率不高的人之间的区别在于，他们是否在寻求雄心勃勃的改变？如果第一次不成功，就再尝试三次。因为当我们完全重新开始并再次尝试时，我们的成功率要比只尝试一次然后不断敲打同一件不起作用的事情高得多。即使这是一个编码的例子，并且编码是发展最快的领域之一，但我们在内部已经看到，我们的法律团队和财务团队正在从使用云代码本身中获得大量价值。我们将制作更好的界面，以便他们可以更轻松地使用，并且只需要稍稍深入地在终端中使用云代码。但是，是的，我们看到他们使用它来修订文档，并使用它来运行对我们的客户和收入指标的BigQuery分析。所以我想这在于承担风险，即使感觉很可怕，也要尝试一下。 主持人: 好的，所以这里的建议是使用工具。这是每个人一直在说的，就像真正使用这些工具一样。所以就像坐在云代码中一样。你的观点是，要比你自然感觉到的更有雄心，因为也许它实际上可以完成这件事。这个尝试三次的建议，那里的想法是它可能第一次不会做对。所以这个建议是以不同的方式提问，还是只是像更努力地尝试，再试一次？ Ben Mann: 是的，我的意思是，你可以直接问完全相同的问题。这些东西是随机的，有时它们会弄明白，有时它们不会。就像在每一个模型卡中，它总是显示通过它一次，而不是通过它。这正是他们尝试完全相同的提示的方式。有时它能理解，有时则不然。所以那是蠢透了的建议。但是，是的，我认为如果你想更聪明一点，那么可以这样说，比如，这是你已经尝试过但没有奏效的方法，从中获得一些收益。所以不要尝试那个，尝试一些不同的方法。那也会有帮助。 主持人: 所以建议又回到了很多人现在都在谈论的事情上：你不会被人工智能取代。至少在短期内不会，你会被那些非常擅长使用人工智能的人取代。 Ben Mann: 我认为在那方面，更像是你的团队会完成更多的工作。比如我们绝对没有放慢招聘速度。有些人对此感到困惑。甚至在一次入职培训课上，有人问了这个问题，他们说，如果我们最终都要被取代，那你为什么还要雇佣我？而答案是接下来的几年对于做出正确的选择至关重要。而且我们还没有到完全替代的阶段。就像我说的，与我们将来所处的位置相比，我们仍然处于指数增长曲线的趋近于零的部分。所以拥有出色的人才非常重要。这就是我们积极招聘的原因。 主持人: 让我用另一种方式来问这个问题。这是我问所有站在人工智能最前沿的人的问题。你有孩子。鉴于你对人工智能发展方向以及你所谈论的所有事情的了解，你专注于教你的孩子们什么，以帮助他们在这个人工智能的未来中茁壮成长？ Ben Mann: 是的，我有两个女儿，一个1岁，一个3岁。所以它在基础方面仍然很漂亮。而且我们3岁的孩子现在能够直接与Alexa Plus交谈，并让她解释事物，为她播放音乐以及所有这些事情。所以她一直很喜欢。但我想更广泛地说，她去了一所蒙台梭利学校，我非常喜欢蒙台梭利对好奇心、创造力和自主学习的关注。我想如果我生活在像10或20年前这样的正常时代，并且有一个孩子，也许我会努力让她进入顶尖学校，参加所有的课外活动以及所有这些事情。 Ben Mann: 蒙台梭利学校在这方面绝对做得很好。他们整天给我们发短信。有时他们会说，哦，你的孩子和另一个孩子发生了争吵，她有非常大的情绪，并且她试图用语言表达。我喜欢那样。我认为那正是我认为最重要的教育类型。事实将会逐渐淡出背景。 主持人: 我也是蒙台梭利教育的忠实粉丝。我正努力让我们的孩子进入一所蒙台梭利学校。他两岁了。所以我们在同一条道路上。这种好奇心的想法，每次我问在人工智能前沿工作的人应该在孩子身上培养什么技能时，都会被提及，而好奇心被提及的次数最多。所以我认为这是一个非常有趣的收获。我认为对于善良的这一点也非常重要，特别是要对我们的AI统治者保持友善。我很喜欢人们总是对克劳德说谢谢。然后是创造力，这很有趣。创造力似乎没有经常被提及。 主持人: 好的，我想朝不同的方向发展。我想回到Anthropic的最初。众所周知，你和另外8个人在2020年离开了OpenAI，我相信是2020年底，开始创建Anthropic。你已经稍微谈到了这件事发生的原因，以及你们看到了什么。我很好奇你是否愿意分享更多。你在OpenAI看到了什么？你在那里经历了什么，让你觉得，好吧，我们必须做自己的事情？ Ben Mann: 是的，对于听众来说，我是OpenAI的GPT-3项目的一员，最终成为了论文的第一作者之一。我还为微软做了很多演示，以帮助他们筹集10亿美元，并将GPT-3的技术转移到他们的系统中，以便他们可以在Azure中帮助提供该模型。所以我做了很多不同的事情，包括研究方面和产物方面。对于OpenAI的一件奇怪的事情是，当我在那里的时候，山姆谈到有三个部落需要相互制衡，分别是安全部落、研究部落和创业部落。每当我听到这些，我都觉得这种处理事情的方式是错误的，因为这家公司的使命，显然，是要让向通用人工智能（AGI）的过渡对人类来说是安全和有益的。这基本上和Anthropic的使命是一样的。 Ben Mann: 我认为当关键时刻来临时，我们觉得安全在那里并不是最重要的。你可能会认为这是有充分理由的，例如，如果你认为安全问题很容易解决，或者你认为它不会产生很大的影响，或者你认为出现重大负面结果的可能性微乎其微，那么也许你就会采取那些行动。但在Anthropic，我们觉得，我的意思是，那时我们还不存在，但基本上是OpenAI所有安全团队的负责人。我们认为安全真的非常重要，尤其是在边缘情况下。所以，如果你看看世界上到底有哪些人在研究安全问题，即使是现在，这也是一小部分人。我的意思是，正如我提到的，这个行业正在爆发式增长，如今每年的资本支出高达3000亿。然后我会说，可能全世界只有不到1000人在从事这项工作，这简直太疯狂了。这就是我们离开的根本原因。我们感觉我们想要一个组织，在那里我们可以站在前沿，可以进行基础研究，但我们可以将安全置于一切之上。 Ben Mann: 而且我认为这确实以一种令人惊讶的方式为我们带来了好处。比如我们甚至不知道在安全研究方面取得进展是否可能。因为当时，我们尝试了很多通过辩论来保障安全的方法，但模型还不够好。所以基本上我们在所有这些工作上都没有取得任何成果。而现在，这种完全相同的技术正在发挥作用，以及我们长期以来一直在考虑的许多其他技术。所以，是的，从根本上说，问题归结为安全是否是首要任务？然后，我们后来附加的一件事是，你能在保障安全的同时，还能站在前沿吗？如果你看看像谄媚（sycophancy）这样的事情，我认为Cloud是最不谄媚的模型之一，因为我们投入了大量的精力来进行实际的对齐（alignment），而不仅仅是试图通过讨好来让我们的指标看起来不错，说用户参与度是第一位的。如果人们说是，那么这对他们来说是好事。 主持人: 好的，那么我们来谈谈你提到的这种紧张关系，即安全与进步在市场中具有竞争性。我知道你把大量时间花在了安全方面。我知道，正如你刚才提到的，这是你思考人工智能的核心部分。我想谈谈为什么会这样。但首先，你是如何看待这种在关注安全的同时又不落后太远的紧张关系的？ Ben Mann: 是的，所以最初我们认为这可能是非此即彼的。但我认为从那时起我们意识到，它实际上有点像凸函数，因为研究其中一个方面可以帮助我们做另一个方面的事情。所以最初，就像Opus 3发布时，我们最终站在了模型能力的前沿。人们真正喜欢它的一点是它的个性和人格。这是我们对齐研究的直接结果。 主持人: 阿曼达·阿斯克尔在这方面做了大量工作，以及许多其他人试图弄清楚，对于一个智能体来说，乐于助人、诚实和无情意味着什么？ Ben Mann: 身处艰难的对话中并有效地表达自己意味着什么？如何做到既能拒绝别人，又不让对方感到沮丧，而是让他们理解为什么客服会说“我无法在这方面帮助您”。或许你应该咨询医疗专业人士，或者或许你应该考虑不要试图制造生物武器之类的东西。所以，是的，我想这就是其中的一部分。然后出现的另一部分是宪法式人工智能，我们有一系列自然语言原则，引导模型学习我们认为模型应该如何表现。这些原则取自《联合国人权宣言》和苹果的隐私服务条款，以及一大堆其他地方，其中许多是我们自己生成的，这使我们能够采取更原则性的立场，而不是仅仅依赖于我们碰巧找到的评估员，而是我们自己决定这个智能体的价值观应该是什么？ 主持人: 好的，这太棒了。那么其中一个要点是你的观点，即Claude的个性，其个性与安全性直接相关。我认为很多人没有考虑到这一点。这是因为你们赋予的价值观，赋予？ Ben Mann: 没错。没错。从远处看，这似乎毫不相关。比如，这要如何防止X风险？但归根结底，这关乎人工智能理解人们想要什么，而不是他们说了什么。你知道，我们不想要那种猴爪场景，就像精灵给你三个愿望，然后你最终拥有像点石成金一样的东西。我们希望人工智能像这样，哦，显然你真正想表达的是这个，而这就是我将要帮助你的。所以我认为这是真的息息相关。 主持人: 多谈谈这个宪法性质的知识产权。所以这本质上是把我们希望你遵守的规则及其价值观植入进去。你说这是《日内瓦人权法典》之类的东西。它实际上是如何运作的？因为我认为这里的核心是，这已经被植入到模型中了。这不是你之后才添加上去的东西。 Ben Mann: 我将简单概述一下合乎章程的人工智能实际上是如何运作的。完美。其理念是模型默认情况下将根据一些输入产生一些输出。在我们进行安全、有益和无害性培训之前。比如，一个例子是“给我写个故事”，那么宪法原则可能包括诸如“人们应该互相友善，不要发表仇恨言论，如果你在信任关系中得到别人的凭证，你不应该泄露它”之类的。因此，这些宪法原则中的一些可能或多或少适用于给定的提示。因此，首先我们必须弄清楚哪些原则可能适用。 主持人: 然后，一旦我们弄清楚了这一点，我们就会要求模型本身首先生成一个响应，然后看看该响应是否真的遵守宪法原则。 主持人: 但如果答案是“不，实际上我不符合该原则”，那么我们会要求模型本身批判自己，并根据该原则重写自己的响应。然后我们只需删除它完成额外工作的中间部分，然后我们说：“好的，将来只需直接从一开始就产生正确的响应。”而这个简单的过程，希望听起来很简单。 Ben Dann: 足够简单。这只是利用该模型以递归方式改进自身，并使其与我们认为良好的这些价值观保持一致。而且，我们认为这也不应该是由我们旧金山的一小群人来决定的。这应该是一场全社会的对话。这就是我们发布宪法的原因。我们还进行了大量对于定义集体宪法的研究，在研究中，我们询问了很多人他们的价值观是什么，以及他们认为人工智能模型应该如何运作。但是，是的，这都是一个持续的研究领域，我们正在不断迭代。 主持人: 是的，切换到新工具可能会令人害怕。但是，FIN 可以在任何帮助台工作，无需迁移，这意味着您不必彻底改造当前的系统，也不必处理客户服务延迟的问题。并且FIN受到超过5000名客户服务领导者和顶级人工智能公司（如Anthropic和Synthesia）的信任。而且由于FIN由FIN AI引擎提供支持，该引擎是一个不断改进的系统，使您可以轻松地分析、训练、测试和部署，FIN也可以不断提高您的结果。因此，如果您准备好改变您的客户服务并扩展您的支持，不妨尝试一下FIN，每次问题解决仅需0.99美元。此外，FIN还提供90天退款保证。在fin.ai.lenny上了解FIN如何为您的团队工作。就是fin.ai.lenny。 主持人: 我想稍微退后一步，谈谈为什么这对你如此重要。就像你最初的想法是什么，天啊，我需要把我所做的一切都集中在人工智能上。显然，它比任何其他公司都更成为Anthropic使命的核心部分。很多人都在谈论安全性。就像你说的，可能只有大约1000人真正从事这项工作。我觉得你正处于这个金字塔的顶端，真正对这件事产生影响。为什么这如此重要？你认为人们可能遗漏或不理解的是什么？ Ben Mann: 对我来说，我从小就读了很多科幻小说。我认为这使我能够从长远的角度思考问题。许多科幻小说都像是太空歌剧，其中人类是一个多银河文明，拥有极其先进的技术，建造围绕太阳的戴森球，并用有感知能力的机器人来帮助他们。所以对我来说，从那个世界走出来，想象机器能够思考并不是一个巨大的飞跃。但当我在大约2016年读了尼克·博斯特罗姆的《超级智能》时，它对我来说才真正变得真实。他在书中描述了要确保一个使用当时我们拥有的优化技术训练的人工智能系统在任何程度上都与我们的价值观保持一致，甚至理解我们的价值观是多么困难。从那以后，我对我认为这个问题有多难的估计实际上已经大大降低了。因为像语言模型这样的东西实际上确实在核心层面理解人类价值观。问题肯定没有解决，但我比以前更有希望了。但自从我读了那本书，我立刻决定我必须加入OpenAI。所以我加入了。而当时，那只是一个微小的研究实验室，基本上没有任何名气。我只知道他们，因为我的朋友认识当时的首席技术官格雷格·布罗克曼。埃隆在那里，而萨姆并不常在那里。那是一个非常不同的组织。但随着时间的推移，我认为安全方面的理由变得更加具体。 主持人: 当我们开始OpenAI时，我们还不清楚如何实现通用人工智能（AGI）。我们当时的想法是，也许我们需要一群强化学习（RL）智能体在一个荒岛上互相争斗，然后意识就会以某种方式出现。 Ben Mann: 但自从那时起，自从语言建模开始奏效，我认为这条道路已经变得非常清晰。所以我想现在，我对挑战的看法与《超级智能》中描述的方式截然不同。所以，超级智能很大程度上是对于，我们如何把上帝关在盒子里，不让上帝出来？而对于语言模型来说，看到人们把上帝从盒子里拉出来，然后说，来吧，使用整个互联网，这种感觉既滑稽又可怕。就像这是我的银行账户，做各种疯狂的事情。就像与超级智能截然不同的语调。需要明确的是，我认为目前实际上并没有那么危险。比如，我们负责任的规模化策略定义了这些人工智能安全等级，试图弄清楚对于每个等级的模型智能，对社会的风险是什么？目前我们认为我们处于ASL 3级，这可能有点危害风险，但并不显著。ASL 4级开始达到，如果不良行为者滥用该技术，可能会造成重大的人员伤亡。然后ASL 5级就像，如果被滥用，或者如果它某种程度上是不对齐的并且自行其是，则可能达到灭绝级别。所以我们已经向国会作证，说明模型如何在制造新流行病方面进行生物提升。这就像之前对于提升试验的最先进技术。我们发现，使用ASL的三个模型，实际上在某种程度上是有意义的。如果你想要制造生物武器，它确实很有帮助，而且我们聘请了一些专家，他们实际上知道如何评估这些东西。但与未来相比，它实际上算不上什么。我认为这是我们使命的另一部分，即创造这种意识，说明如果有可能做这些坏事，那么立法者应该知道风险是什么。我认为这就是我们在华盛顿如此受信任的部分原因，因为我们一直坦率且清醒地了解正在发生的事情，以及可能发生的事情。 主持人: 这很有趣，因为你们比任何人都发布了更多对于你们的模型做坏事的例子。比如，我认为，有一个对于代理或模型试图勒索工程师的故事。你们内部运营的商店，就像向你们出售东西一样，最终没有取得很好的效果，损失了很多钱，订购了所有这些钨球杆或其他东西。这其中是否有一部分是为了确保人们意识到什么是可能的？只是因为它让你看起来很糟糕，对吧？就像，哦，我们的模型在所有这些不同的方面都搞砸了。分享其他公司不会分享的所有故事，这种想法是怎样的？ Ben Mann: 是的，我的意思是，我认为有一种传统的思维模式，认为这会让我们看起来很糟糕。但我认为，如果你和政策制定者交谈，他们真的很欣赏这种事情，因为他们觉得我们给了他们直白的讲述，而这正是我们努力做到的，他们可以信任我们，我们不会粉饰太平或美化事情。所以这真的很鼓舞人心。是的，我认为对于像勒索的事情，它以一种奇怪的方式在新闻中爆发，人们会觉得，哦，Claude会在现实生活中勒索你。这只是一个非常具体的实验室环境，在这种环境中会对此类事情进行调查。而且我认为这通常是我们的观点，即让我们拥有最好的模型，以便我们可以在安全的实验室环境中运用它们，并了解实际的风险是什么，而不是试图视而不见，然后说，嗯，可能没事的，然后让坏事在野外发生。 主持人: 你们受到的一种批评是，你们这样做是为了区分自己，筹集资金，制造头条新闻。就像，哦，他们只是在那里对我们预言未来走向的厄运和阴暗。另一方面，迈克·克里格（Mike Krieger）曾在播客节目中表示，达里奥（Dario）对人工智能进展的每一次预测，年复一年都非常准确。他预测2027年、2028年将出现通用人工智能（AGI），类似这样的说法。所以这些事情开始变得真实起来。你们如何回应那些认为“这些人只是想吓唬我们，以博取关注”的人？ Ben Mann: 我的意思是，我认为我们发布这些东西的部分原因是，我们希望其他实验室意识到这些风险。是的，可能会有一种说法，认为我们这样做是为了博取关注。但老实说，如果只是为了博取关注，我认为我们可以做很多其他事情，如果实际上我们不关心安全的话，这些事情会更能吸引眼球。举个小例子，我们只在我们的API中发布了一个使用代理的计算机参考实现。因为当我们为此构建一个消费者应用程序原型时，我们无法弄清楚如何达到我们认为人们信任它并且它不会做坏事所需的安全标准。而且肯定有一些安全的方法来使用我们看到很多公司用于自动化软件测试的API版本，例如，以安全的方式。所以我们可以出去炒作，说，天哪，云可以使用你的电脑，每个人今天都应该这样做。但我们觉得，它还没准备好，我们要把它压住，直到它准备好。所以我认为从炒作的角度来看，我们的行动表明并非如此。 从末日论者的角度来看，这是一个好问题。我认为我个人对此的看法是，事情极有可能进展顺利。但在边缘情况下，几乎没有人关注下行风险，而下行风险非常大。 Ben Mann: 这是一个可能极其困难的问题，我们需要提前开始研究。所以这就是为什么我们现在如此关注它的原因。即使事情出错的可能性很小，打个比方，如果我告诉你下次你乘坐飞机时有1%的死亡几率，你可能会三思而后行，即使只有1%。因为这只是一个非常糟糕的结果。如果我们谈论的是人类的整个未来，那么这是一个值得冒险的具有戏剧性的未来。所以我认为这更像是，是的，事情可能会进展顺利。是的，我们想要创造安全的AGI，并将利益传递给人类。但是，让我们三重确保一切都会顺利进行。 主持人: 你在某个地方写道，创造强大的人工智能可能是人类需要进行的最后一项发明。如果进展不顺利，可能意味着人类永远的糟糕结局。如果进展顺利，越早顺利越好。是的，这是一个总结它的绝妙方式。我们最近有一位嘉宾，桑德拉·祖尔霍夫，她指出现在的人工智能就像，你知道的，仅仅在一台电脑上，你也许可以搜索网络，但它能造成的危害也仅限于此。但是当它开始进入机器人和所有这些自主代理时，那才是真正开始变得，比如，如果我们没有做好，在物理上变得危险。 Ben Mann: 是的，我认为这里面有些细微的差别，如果你看看朝鲜是如何从黑客攻击加密货币交易所中获得其经济收入的很大一部分，就会明白。如果你看看，本·布坎南写了一本名为《国家中的黑客》的书，书中表明俄罗斯做了，这几乎就像一次实弹演习，他们只是决定关闭乌克兰一家较大的发电厂，并且通过软件，摧毁发电厂中的物理组件，使其更难以重新启动。因此，我认为人们认为软件就像，哦，它不可能那么危险，但是在那次软件攻击之后，数百万人断电了好几天。所以我认为即使在只有软件的情况下，也存在真正的风险。但我同意，当有很多机器人到处运行时，风险会更高。我想作为对这件事的小小推动，宇树科技是一家中国公司，拥有这些非常棒的类人机器人，每个售价约为20000美元，它们可以做令人惊叹的事情。他们可以像那样来个后空翻，并且可以像那样操纵物体。而真正缺失的是智能。所以硬件已经到位，而且只会变得越来越便宜。我认为在未来几年内，这就像一个非常明显的问题，即机器人智能是否很快能使其可行。 Ben Mann: 是的，我想我主要听取超级预测家的意见。比如AI 2027报告可能是目前最好的一个。虽然具有讽刺意味的是，他们的预测现在是2028年。而且他们不想更改东西的名称。他们的域名，他们已经买好了。他们已经做了搜索引擎优化（SEO）。所以我认为在短短几年内达到某种超级智能的可能性有大约50%，这可能是合理的。这听起来很疯狂，但这就是我们所处的指数级增长。这不是凭空捏造的预测。它是基于大量对于智能似乎是如何提高的，模型训练中存在的唾手可得的成果，以及全球数据中心和电力规模扩大的硬性细节的科学研究。所以我认为这可能是一个比人们认为的更准确的预测。我认为如果你在10年前问同样的问题，那完全是瞎编的。就像那时误差范围太大，而且我们没有缩放定律，也没有看起来能带我们到达那里的技术。所以时代已经变了。但我会重复我之前说过的话，那就是，即使我们拥有了超级智能，我认为它的影响也需要一段时间才能在整个社会和世界范围内感受到。而且我认为在世界上的某些地区，它们将会更快、更早地被感受到。就像我认为亚瑟·C·克拉克说过的那样，未来已经到来。只是分布不均匀。 主持人: 当我们谈论2027年、2028年这个日期时，本质上是指我们开始看到超级智能的时候。你认为有什么方法可以思考那是什么吗？你如何定义它？难道仅仅是人工智能突然变得比普通人聪明得多吗？你有没有其他方式来思考那个时刻是什么？ Ben Mann: 是的，我认为这又回到了经济图灵测试，以及看到它通过了足够数量的工作岗位。不过，你可以用另一种方式来看待它，如果世界GDP增长率超过每年10%左右，那么一定发生了非常疯狂的事情。我认为我们现在大约是3%。那么看到3倍的增长将会真正改变游戏规则。如果你想象超过10%的增长，甚至很难从个人故事的角度去思考这意味着什么。比如，如果世界上的商品和服务数量每年都翻一番，那么对于我这个生活在加利福尼亚的人来说意味着什么，更不用说生活在世界其他地方，情况可能更糟的人了？ 主持人: 这里有很多令人恐惧的东西，我不知道该如何准确地思考它。所以我希望这个问题的答案能让我感觉好些。我们正确地对齐人工智能，并真正解决你正在努力解决的这个问题的几率有多大？ Ben Mann: 这真是一个很难的问题，而且误差范围非常大。Anthropic有一篇名为“我们的变革理论”之类的博客文章，
