叶倩彤h有声小说神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

　　编者按：人工智能的独特之处既最令人恐惧也最值得庆祝——一些技能堪比我们人类，然后还能更进一步，做到人类做不到的事情。模仿人类行为已成为人工智能的决定性特征。然而，机器学习和大语言模型的每一次进步背后实际上都是人——这里面既有经常被忽视的，让大语言模型使用起来更安全的人类劳动，又有就在什么时候以及如何最好地使用这项技术方面做出关键决定的个人。本文综合了各方推荐和建议，将数百项提名汇总到一起，最终形成了这份百人榜名单。从很多方面来说，这 100 人构成了推动人工智能发展的关系网络与权力中心。他们是竞争对手、监管者、科学家、艺术家、倡导者、以及高管——属于既互相竞争又共同合作的人类，他们的洞察力、欲望与缺陷将塑造一项影响力与日俱增的技术的发展方向。文章来自编译，篇幅关系，我们分四部分刊出，此为第四部分。

　　今年2月，杰弗里·辛顿 (Geoffrey Hinton)，过去 50 年来最有影响力的人工智能研究人员之一，经历了一次“缓慢的顿悟”。

　　76 岁的辛顿在 2013 年加入谷歌之前，一直致力于主要在学术圈建立模拟人脑的人工智能系统。他一直都认为，人脑比他和其他人正在开发的机器都要好，通过自己做的东西变得更像大脑，它们就会得到改善。但在今年2月，他意识到“我们现在拥有的数字智能可能已经好过大脑了。只不过规模还没那么大。”

　　世界各地的开发者目前正竞相开发最大型的人工智能系统。考虑到目前人工智能公司扩大模型规模的速度，人工智能系统实现100 万亿连接（约与人脑神经元之间的连接数量相同）可能只需要不到五年的时间。

　　对此感到担忧的辛顿今年 5 月辞去了谷歌副总裁兼工程研究员的职务，并接受了一系列采访。他在采访中解释说，自己离开是为了可以自由地讨论人工智能的危险，他还谈到了对帮助将该技术引入人工智能领域感到遗憾。他担心一旦人工智能系统的规模扩大到人类大脑的那样会发生的事情，也对人类可能被他帮助创造的技术消灭的前景感到忧心。辛顿说： “这些东西会变得比我们更加聪明并接管一切。如果你想知道那是什么感觉，去问问小。”

　　在英国出生和长大的辛顿系出名门，其亲戚包括数学家玛丽·埃弗里斯·布尔（Mary Everest Boole）以及逻辑学家乔治·布尔（George Boole），这两人的工作对现代计算机科学至关重要；还有外科医生詹姆斯·辛顿（James Hinton）；以及测量员乔治·埃佛勒斯（George Everest，珠穆朗玛峰的英文名用的就是他的名字。）

　　人类大脑一直让辛顿感到着迷。作为一名剑桥大学本科生，他试过一系列的学科——生理学、物理学、哲学——然后在 1970 年获得了实验心理学学位。在开始攻读博士学位之前，他曾短暂担任过一阵木匠。 1972 年，他在爱丁堡大学获得了人工智能博士学位，这是当时英国人工智能领域唯一的研究生项目。

　　20 世纪 70 年代，在未能兑现其战后承诺后，人工智能经历了一段热度退却时期，也就是现在所谓的 “人工智能寒冬”。在这个当时不流行的领域，辛顿开始追逐一个不受欢迎的想法：一中莫发放人脑结构，叫做神经网络的人工智能系统。他的论文导师每周都敦促他改变主意。每次他都会回答：“再给我六个月，我会证明它是有效的。”

　　修完博士学位后，辛顿移居到美国，他的研究也获得了更多资金。他在美国各地的大学任教，发表了开创性的研究成果，并因此获得了 2018 年图灵奖，最后在多伦多大学获得了计算机科学教授职位。多伦多现在已成为辛顿的大本营；他出差的频率相对较低，因为背部问题导致他无法坐下。在开车去旅行时，他会躺在后座上；吃饭时他需要跪在桌子前，“就像圣坛上的和尚一样”。

　　2012 年，辛顿和他的两名研究生亚历克斯·克里泽夫斯基（Alex Krizhevsky） 以及伊尔亚·苏茨克维（Ilya Sutskever，现任 OpenAI 首席科学家）去参加 ImageNet，这是一项看谁开发的图像识别人工智能系统最准确的年度竞赛，他们统治了这项竞赛——这有力地证明了神经网络已经成熟。辛顿的坚持得到了回报。

　　他和他的两个学生开始收到科技巨头的丰厚offer。他们成立了一家叫做 DNN-research 的空壳公司来拍卖自己的专业知识，有四家科技公司，包括谷歌、微软、百度以及 DeepMind，报价数千万美元要收购这家公司。一周后，辛顿选择了谷歌而不是最后的投标人百度。 2013 年，他加入了 Google Brain，今年 5 月，他离开了这支顶尖的机器学习团队。

　　辛顿对神经网络的开发和普及发挥了重要作用。神经网络是目前占主导地位的人工智能开发范式，可以通过摄取和处理大量数据，从而推动图像识别、语言理解和自动驾驶汽车的进步。他的工作有可能加速他所担心的未来的到来，也就是人工智能变成超人，给人类带来灾难性的后果。辛顿表示，“我找借口安慰自己：就算我不做，别人也会做。”

　　辛顿不知道该怎么防止超人的人工智能系统接管世界。他说，如果还有什么希望的话，只能把希望寄托在下一代身上，并指出他觉得自己已经太老了，无没法继续给研究做出贡献。很多科学家在职业生涯后期都转向政策工作，但他拒绝了谷歌让他在该公司担任此类职务的提议。 他说：“我从来都不擅长这个或对此感兴趣。我是一名科学家。”

　　相反，辛顿在过去几个月一直扮演敲钟人的角色——他可以像任何人一样以通俗易懂的方式解释人工智能的技术细节，并花大量时间接受采访以提高公众意识。他还与政策制定者交谈，包括英国首相办公室官员、加拿大总理贾斯汀·特鲁多、欧盟委员会执行副主席玛格丽特·维斯塔格以及美国参议员伯尼·桑德斯与乔恩·奥索夫等。

　　辛顿表示，虽然他现在理论上已经理解了人工智能的风险，但感情上还没有跟上。 “我们作为顶尖智能的位置将被取代，这个想法很难让你接受。”

　　但目前，他从自己的另一位亲戚那里得到了启发：他的表亲寒春（Joan Hinton）是少数参与了曼哈顿计划的女科学家之一。在自己帮助制造的核武器被投放到广岛和长崎后，寒春成为了一名和平活动家。 1948年，她移居中国，她余生的大部分时间都在农场从事机械工作。辛顿自己的退休计划没那么喧嚣，但同样充满田园气息：他打算重新拾起木工活，并走走远路。

　　李飞飞指出，人工智能不会是技术改变世界的第一次，而且每次的改变都是为了变得更好。 “如果我们……把自己传送到历史上的任何一刻——比如火被发现的那一刻，蒸汽机被制造处理的那一刻，或者发明电力的那一刻——我认为话题都将十分相似：技术是把双刃剑。技术赋予我们力量，但这种力量也会带来危险。我认为人工智能也一样。”

　　对于自己所描述的希望与危险，李飞飞比大多数人都要了解。她的研究为当今运营的图像识别人工智能系统奠定了基础，并扩大了人工智能在医疗保健领域的应用。作为 AI4ALL（一家总部位于美国的非营利组织，旨在提高人工智能的多样性和包容性）的联合创始人，她一直是人工智能多样性的倡导者。

　　李飞飞出生于中国成都，15 岁时移居美国，后在普林斯顿大学学习物理和计算机科学，并在 2017 年获得加州理工学院电气工程博士学位。2006 年，李飞飞开始做带文本描述的图像数据库 ImageNet。至 2009 年止，李飞飞和她的团队在众包的帮助下，已经标记了 320 万张图像。一年后，她们举办了一场竞赛，目的是想看看谁能设计出识别图像内容最准确的人工智能系统。通过为研究人员提供一个共同的基准，李飞飞加速了人工智能图像识别系统的发展。

　　除了 2017 年至 2018 年在谷歌工作了一段时间外，李飞飞的职业生涯一直在学术界度过。最近，随着人工智能开发者不断用更强大的计算能力来训练自己的系统，学术界在筹措训练最强大的人工智能系统所需的巨额资金方面已经开始捉襟见肘。李飞飞表示： “我担心在人工智能领域，学术圈与产业圈正在形成全球性的资源鸿沟”。

　　2023 年 6 月，在与拜登总统会面时，李飞飞呼吁要抱持“登月心态”，主张政府在投资上要有雄心，要确保利用人工智能为公共利益服务。作为美国国家人工智能研究资源（NAIRR）任务组的成员，李飞飞尤其呼吁政府要提供人工智能的算力资源。她与工作组其他成员的努力似乎正在取得成果。 今年7 月，美国国会人工智能核心小组的领导层提出了一项法案，要建立 NAIRR，为研究人员提供安全开发人工智能所需的资源。在与孩子们一起观看完《奥本海默》之后，身为斯坦福以人为本人工智能研究院（Stanford Institute for Human-Centered AI）联合主任的李飞飞对这部电影于当下的相似之处感到震惊。 “我对科学家的责任感产生了非常非常强烈的共鸣。我们都是世界公民。”

　　阿贝巴·比尔哈内（Abeba Birhane） 是一名训练有素的认知科学家，当她注意到一项几乎没人在做的重要任务时，她开始走上了人工智能研究的道路。人工智能模型要接受数据集（文本与图像的集合）的训练，这些数据集是从互联网收集而来，规模正变得越来越大。但比尔哈内意识到，随着这些数据集从数百万条数据激增至数十亿条，几乎没人系统性地检查过其中是否存在有害材料，而后者可能导致人工智能在结构上存在种族主义、性别歧视与其他偏见。

　　比尔哈内与一小群研究人员一起开创了一个新学科：对可公开访问的人工智能训练数据集进行审计。这项工作会很繁重。 比尔哈内现在是 Mozilla 基金会AI Accountability的高级顾问，也是都柏林三一学院的兼职助理教授。 “我以前很喜欢到咖啡馆工作，现在没办法了，我的屏幕对于工作来说已经不安全了。”

　　在最近一篇正在接受同行评审的论文中，比尔哈内和她的合著者得出了一个令人震惊的结论：用更大的数据集训练的人工智能模型更有可能表现出有害的偏见和刻板印象。 比尔哈内表示：“我们笨想验证这样一个假设：随着规模的扩大，问题就会消失”。但她们的研究表明事实恰恰相反。 “我们发现，随着数据集规模的扩大，仇恨内容也会增多。”

　　当顶级人工智能实验室 DeepMind 联合创始人谢恩·列格（Shane Legg）去面试求职者时，他希望能够确定他们知道自己要做什么。 DeepMind 首席运营官莉拉·易卜拉欣 (Lila Ibrahim) 表示，鉴于该公司正在开发的技术存在风险，与列格的谈话让她对孩子们的未来感到担忧。

　　列格自DeepMind成立以来一直是这里的首席科学家，今年4月，在DeepMind与Google Brain合并组建成Google DeepMind之后，又成为了新组织的通用人工智能首席科学家。他说，他经常会直白地谈到通用人工智能（AGI，一种几乎可以完成人类能做的任何认知任务的人工智能）什么时候会到来以及 AGI 可能带来的风险，以“看看他们对此有何反应。因为很多人认为这种事情完全是疯了。我想看看他们在思考技术水平超前的东西时自在程度如何……我认为这是一个重要品质。”

　　今天，很多人开始接受列格二十多年来一直关注的想法。 2011 年，他在博客网站 LessWrong 上接受采访时估计，到 2028 年，做出人类水平的机器智地可能性为50%。列格表示，其实自己在二十多年前当软件工程师时就做出了这一预测。这位工程师当时看了雷·库兹韦尔（Ray Kurzweil）的《心灵机器时代 —当计算机超越人脑》（The Age of Spiritual machines）之后，此后就一支没有改变过主意。直到最近，大多数人工智能研究人员还对他的预测不屑一顾，其中包括图灵奖获得者杰弗里·辛顿（Geoffrey Hinton）以及约书亚·本希奥（Yoshua Bengio）。但今年早些时候，这两人在这个问题上突然改变了主意，并（非常惶恐地）预测与人类水平相当的人工智能将在未来 5 到 20 年内被开发出来。49 岁的莱格表示： “他们都曾觉得我的预测太过疯狂。现在他们都不这么想了。”

　　列格对自己的预测非常认真，因此他决定重返校园学习更多有关人工智能的知识 — 2003 年，他开始攻读博士学位。他到瑞士卢加诺的达勒莫勒人工智能研究所工作，并因《机器超级智能》这篇论文而获得了著名奖项。 （ 2019 年，列格还把自己的导师Marcus Hutter 招进了DeepMind，担任高级研究科学家。）

　　2009年，在伦敦大学学院担任博士后研究员期间，列格结识了研究员同事戴密斯·哈萨比斯（Demis Hassabis）。2010 年，两人与哈萨比斯的儿时好友兼进步活动家穆斯塔法·苏莱曼 (Mustafa Suleyman) 一共创立了 DeepMind，其使命是通过开发 AGI 来解决智能问题，并利用它来解决人类的问题。 （“AGI”这个词是 1997 年物理学家 Mark Gubrud 先用起来的，但在 2002 年，列格独立提出了这个说法，并在他的前任老板 Ben Goertzel 的帮助下推广开来。）

　　此后，低调的列格开始领导DeepMind的AGI技术安全团队——这个团队在努力确保强大的人工智呢系统一旦开发出来，就会按照其创建者的意图行事，并防止自行形成有害目标的人工智能系统造成灾难。 列格估计，他和其他人有 70% 的机会到 2028 年解决这个问题。他说：“我觉得这是可行的。未必有我们想象的那么难，而且事后看来，似乎应该是相当明显的。” 列格认为，早期研究人员预见到的许多困难，比如确保人工智能系统理解人类的价值观，已经通过此后完成的工作得到解决，但很多人工智能悲观主义者不能与时俱进地改变自己的观点。

　　但在假设中地 AGI 实现之前很久，谷歌 DeepMind 就需要确保其人工智能系统地正常运行。据报道，该公司将于今年秋天发布迄今为止最大的人工智能模型 Gemini。谷歌 DeepMind 首席执行官哈萨比斯正在领导这项工作，甚至已经退出江湖地谷歌联合创始人谢尔盖·布林都为此重新出山。但列格表示，谷歌 DeepMind 用于确保 Gemini 行为的做法并没有什么特别之处。 “跟其他大模型以及开发者一样，我们也采用了一系列地对齐技术或这些技术的变体，而不是什么特别的技术。再过一两代，我们可能需要一些更有趣的对齐技术。”

　　除了在 DeepMind 从事人工智能安全方面的工作外，列格还建立了一个 AGI 社区。这个社区有约 600 名成员，约占 DeepMind 员工总数的 25%。群组有内部的聊天渠道；在会议上，大家会提出新想法或聆听外部演讲者的发言。 列格表示：“DeepMind 有很多人对 AGI 充满热枕”。

　　列格无疑是其中之一。他说，他不知道如果我们在超级人工智能到来后仍能幸存下来的话，生活会变成什么样子。 列格说：“我们讨论的是拥有超越人类智慧的事物，设想运用其智慧让世界变得更美好、更道德。仅凭我们人类智慧，很难知道会发生什么。”

　　与此同时，人工智能政策研究所（AIPI）7月份进行的民意调查发现，62%的美国人对人工智能感到担忧，而感到兴奋的只有21%。 AIPI 联合创始人兼执行董事丹尼尔·科尔森 (Daniel Colson) 表示，社交媒体的负面影响日益导致美国公众“质疑科学技术进步默认就是对社会有利的看法”。他认为，开发更强大的人工智能系统所带来的风险（列格本人也承认）很大，给停止开发提供了理由。

　　列格认为我们可以把事情做对。他说： “如果它能让世界变得更美好、更道德的话，那就很令人兴奋。我认为这个世界有很多问题可以通过做出一个非常有能力、有道德的智能系统来解决。这个世界是可能变得更加美好的。”

　　今年8 月初，约 4000 名黑客聚集在拉斯维加斯，他们的目标是攻击 OpenAI、Google 与 Anthropic 的聊天机器人。能够说服人工智能违反自身规则的黑客——比如让聊天机器人给出炭疽的配方，或者散布种族主义言论——将获得积分奖励。获胜者发现了多个漏洞，其中一个聊天机器人还泄露了被告知要保密的信用卡号。

　　这场活动的组织者之一是人工智能伦理学家、Humane Intelligence 的创始人鲁曼·乔杜里（Rumman Chowdhury）。Humane Intelligence 是一家专门研究所谓的人工智能系统红队测试的非营利组织。这种做法借鉴了黑客文化，后者通过对计算机程序进行压力测试来识别安全缺陷而获得奖励是很常见的事情。其想法是，通过激励很多人尽量尝试去攻击聊天机器人等形式的人工智能，开发者得以发现并修复问题。因为如果这些问题是在发布后被发现的话，危险性可能会高得多。拜登政府是拉斯维加斯这场活动的重要支持者。白宫在一份声明中表示：“这项独立活动将为研究人员级公众提供有关这些模型影响的关键信息，并让人工智能公司与开发者能够采取措施解决这些模型存在的问题。”

　　乔杜里比大多数人都要了解人工智能的危险。在埃隆·马斯克解雇她之前，她一直是 Twitter 机器学习道德团队的负责人。 ChatGPT 发布后，她询问该机器人自己的信息。结果机器说她是一位收藏了很多鞋子的网红。乔杜里表示： “问题不仅仅在于信息的错误，还在于它十分的性别化。”

　　鲁曼·乔杜里：会导致权力和财富越来越集中到越来越少数人手里。一是它正在颠覆某些产业与民生。其次，这些人并不能反映大多数人的意见、观点、需求和愿望。但他们却要把自己的技术强加给全世界。他们的财富实际上是建立在用我们所有人免费奉献出来的东西之上的。比方说，我们在 Reddit 上发布的内容、我们在互联网上发布的自己的照片、我们在社交媒体上跟朋友的对话、我们在网上发布的书评等。他们免费抓取了这些内容，然后转而向我们收钱，同时也剥夺了很多人的生计。

　　人工智能不是魔法，只是数学，然后放进代码里。首先，几乎所有与人工智能有关的问题过去都处理过类似的问题。其次，大家以为程序员或人工智能开发者很神奇或具有独特能力，以为他们要比其他人聪明，这也是错得离谱的。这些人给自己所开发的技术营造了一种神秘感，其唯一目的就是排除他人。其三是，大家都不敢批评人工智能，不敢质疑，不敢问它是不是在做对的事。他们认为人工智能比领域专家还要擅长做决策。

　　对知觉的理解。有很多人，甚至包括专家，也会将模仿聊天功能的用户设计当作是知觉，这个很让我感到吃惊。居然有这么多人被一个自然且易于使用的聊天界面所欺骗，就因为它能编出看似易读的语言，就以为它具备了感觉！颗我们甚至连人类的意识从何而来都还没弄清楚。

　　大二那年，曾毅上人工智能入门课。第一堂课上，教授就完整放映了史蒂文·斯皮尔伯格2001年的那部电影《人工智能》（A.I. Artificial Intelligence）。

　　电影鲁曼有一幕是两名研究人员在讨论模拟人脑来造出一个懂得爱的机器人。曾毅对此伸手鼓舞。 曾毅说：“我这辈子就想干这个。也就是说，造一个会爱人类的机器人”。 41 岁的中国科学院教授曾毅一直在致力于“类脑智能”的开发——设计出尽可能与人类大脑相似的人工智能系统——并希望它们能够拥有道德感。

　　2016年左右，曾毅开始更加关注人工智能系统带来的风险，他开始把更多时间花在与政策制定者合作，制定有利于人工智能发展的规则上。三年后，曾毅指导团队撰写了《人工智能北京共识》。同时他还 “通过新一代人工智能治理委员会深度参与了政策制定”。

　　曾毅还推动进一步加强国际合作。他说： “我觉得我有责任让全世界知道中国的科学家和政策制定者确实有类似的想法”。他帮助联合国教科文组织制定了《人工智能伦理问题建议书》，并参与了许多非正式、非官方的外交举措，比如跨文化人工智能伦理与治理国际研讨会（International Workshop on Cross-Cultural AI Ethics and Governance），最近还在联合国安理会的一次会议上发表了讲话。

　　紧张的地缘政治气候限制了中美之间的合作，但曾毅认为，两国在对待人工智能风险的态度方面有很多共同点。最近的一项民意调查发现，62% 的美国选民担心人工智能，而对此感到兴奋的只有 21%。作为他在北京的远期人工智能中心(Center for Long-term AI)的工作的一部分，曾毅对中国公众进行了调查，发现91%的受访者支持对人工智能模型实施强制性的安全和伦理框架。他说：“我们别无选择，必须合作”。

　　蒂姆尼特·格布鲁（Timnit Gebru））与人共同撰写了最近记忆中最具影响力的人工智能伦理论文之一。那篇期刊文章认为，大语言模型存在如此的偏见并非偶然，而是有意选择将速度置于安全之上的结果。在格布鲁拒绝将自己的名字从独立发表的论文中删除的要求后， 2020 年，她失去了谷歌道德人工智能团队联合负责人的工作。 （格布鲁说自己是被解雇的；谷歌则说她是辞职的。）

　　发生了这些事情之后，格布鲁已成为负责任的人工智能领域的火炬手。作为Distributed AI Research Institute（DAIR）的创始人及执行董事，她为跨学科的人工智能研究打造出一片空间，而这在大型科技公司当中是很少见的。迄今为止，DAIR 的研究与社区建设齐头并进的混合模式主要集中在两条平行轨道上。一方面，格布鲁和她的同事质疑科技行业要依赖低薪、不稳定的工人，其中很多来自于南半球国家。 格布鲁说：“很多人都想把机器想象成是有知觉的，并且这个过程没有人类的参与。他们想掩盖正在发生的事情，这是其中的举措之一。”

　　另一方面，格布鲁致力于研究某些打算开发通用人工智能的技术人员的意识形态根源。格布鲁和她的同事埃米尔·托雷斯（Émile P. Torres）用 TESCREAL 代指这些人信奉的一长串晦涩的“主义”，这些意识形态不仅与优生学等被揭穿的伪科学有令人厌恶的联系，而且还让其追随者产生一种倾向，那就是只要能让目标（比方说，人类安全地创造人工智能）实现的可能性稍微大一点，就可以采取任何手段（造成严重不平等、贫困，甚至更糟）。 格布鲁说：“年轻的计算机科学专业的学生可能觉得自己必须遵循这条轨迹”。她指的是科技公司进一步集中财富和权力，榨取自然资源与劳动力，并泛化基于监控的商业模式。 “重要的是要弄清楚：他们的意识形态基础是什么？在了解之后再去设问，‘如果采用不同的意识形态基础呢？在这种情况下，技术将如何发展？”

　　在学者凯特·克劳福德（Kate Crawford）来说，人工智能并不是某种抽象的、未来主义的思想实验：而是一系列冷酷的物理事实。在过去 20 年的时间里，克劳福德研究了大规模数据系统对环境的影响，以及它们是如何影响我们的社会和政治体系的。现年 50 岁的克劳福德居住在纽约，曾撰写过书籍，与人共同创立了 AI Now Institute来开展有关科技行业权力集中的研究，并为世界各地的政策制定者提供建议。她跟人合作的艺术作品《人工智能系统解剖》探索了亚马逊 Echo 智能音箱的生命周期，甚至还到现代艺术博物馆展出过。

　　问：你写过一本关于人工智能对环境影响的书，叫做《Atlas of AI》。这本书的主旨是什么？

　　凯特·克劳福德：认为人工智能是虚无缥缈的，是飘在云端的数学算法这种看法绝对不是事实。事实上，其唯一的工作方式是析取大量数据、人力与自然资源，包括能源、水以及矿物。这本书其实讲的是人工智能是 21 世纪的采掘业。

　　在出现了生成式人工智能之后，这种情况甚至更加严重。数据量增加了。隐藏的人类劳动量，尤其是在从人类反馈中学习的强化学习（RLHF）方面，也在增长。生成式人工智能所消耗的能源和水量是传统人工智能的 1000 到 5000 倍。

　　在探索数据集如何感知世界的研究项目Knowing Machines当中，你为什么要关注训练数据？

　　训练数据层是表征（以及未表征）世界方式的基本构建块。这是构思故事的字母表。

　　在很多情况下，我们已经到达了人工智能史的这个阶段，你只要抓取整个互联网就可以说，“好吧，这就是世界。”但如果你声称互联网就是人类文化，那就很危险了。真实的世界比互联网呈现给你的世界要更加多样化。所以我们确实已经到了需要更多关注、更多监管，以及对如何训练人工智能来表征世界要有更多的批判意识的地步了。

　　从根本上说，大家没法理解它会如何改变我们看待和理解世界的方式。这是一个很基本的事情，其影响远超深度伪造问题或其对劳动力的影响。

　　普什米特·哥利（Pushmeet Kohli）认为自己本质上属于乐观或谨慎乐观的那种人。对于谷歌 DeepMind 的 AI for Science 项目（一个利用人工智能解决科学重大挑战的项目）及Responsible and Reliable AI团队（确保 DeepMind 的人工智能系统不会脱轨）的领导者来说，这样的气质再合适不过。

　　哥利在喜马拉雅山脚下的印度德拉敦长大，后来移居到英国学习。他在微软工作了近 11 年，最终在微软的Cognition Group（这个小组的目标是开发出能够执行人类几乎所有类型任务的人工智能系统）当起了研究总监。2017年，他加盟DeepMind，并很快组建其Safe and Reliable AI团队（后来更名了，今年4月，DeepMind已经与谷歌的另一支人工智能团队合并）。 哥利表示，DeepMind 联合创始人兼首席通用人工智能科学家谢恩·列格“从第零天开始”就一直致力于安全问题，但他的团队试图解决“近期部署 ML [机器学习] 模型带来的安全问题。”

　　哥利拒绝在所领导的两支团队当中做出更喜欢哪一个的选择二，但说到AI for Science 的工作时，他的眼睛亮了。 AlphaFold 是该团队迄今为止最成功的成果，已被超过 100 万研究人员使用，并且可以在几秒钟内根据蛋白质的氨基酸结构预测出结构，相比之下，之前完成这项任务需要花费数月或数年的时间。得以更好地了解蛋白质结构将加速药物发现，并可能为进一步的科学突破铺平道路。

　　最近，哥利的 AI for Science 团队又发布了 AlphaTensor，这是一个建立在 AlphaZero 基础上的人工智能系统，后者在包括围棋在内的一系列游戏当中表现出了非凡性能，并且可以发现新颖算法。

　　他认为，通过提高我们对世界的理解，人工智能最终解决的问题将多于所产生的问题。哥利说，比方说，多年来，科学家们一直在研究一些看似微不足道的问题，比如“葡萄酒是否有益健康”。他认为，人工智能也将帮助人类应对类似葡萄酒之争的问题，只不过那些将是更复杂的挑战，如气候变化和流行病等， “是行星级的问题”。

　　伊利亚·苏茨克维 (Ilya Sutskever) 表示，一个不太聪明的人确保更聪明、更强大的人按照自己的利益行事是有先例的。这个先例就是人类婴儿。 OpenAI 首席科学家苏茨克维尔说“我们知道这是可能的。父母非常关心孩子的福祉。这是可以做到的。但这种胚教用的是什么机制呢？”

　　思考这个问题的人是业界最著名的技术思想家之一。在 2015 年作为创始成员加入 OpenAI 之前，苏茨克维尔就已经因为推动了计算机视觉与机器翻译领域的突破而闻名。OpenAI的第一步举措就是从谷歌挖走他；如果没有他，公司随后推出的一长串创新也许就会大不相同。 苏茨克维尔的名字出现在催生了 ChatGPT 以及图像生成器 DALL-E 等产品的数十篇研究论文之中。但在与苏茨克维尔交谈过后，你很快就会感觉到他觉得自己最重要的工作就在眼前。

　　今年7 月，OpenAI 宣布 37 岁的苏茨克维将担任其新的 Superalignment 团队的联合领导。这支团队的任务是解决如何确保超级智能人工智能符合人类利益的技术挑战。除了这项工作以外，公司还有一项短期的研究工作，针对的是当前或不久的将来所开发的较弱人工智能系统进行对齐，这两项工作是独立的，会并行进行。

　　在苏茨克维尔看来，理解如何将某些价值观强加到显著超越人类的系统上这项任务至关重要。他说： “到头来人工智能系统会将变得非常非常非常有能力，非常非常非常强大。到时候我们将没法理解它们。它们会比我们聪明得多。到那时候，胚教必须非常牢固才行，这一点绝对至关重要，这样它们对我们的感觉就会像我们对婴儿的感觉一样。”

　　《纽约客》刊登过一幅漫画，描绘的是世界末日时一对夫妇面对面坐在荒地的废墟上。哪个标题更好：“哦，好吧，更糟的情况我们也活过来了”，还是“我想见到其他人”？

　　你的猜测要好过 ChatGPT 的。去年，华盛顿大学计算机科学教授、2022 年著名的麦克阿瑟“天才”奖获得者崔艺珍（Yejin Choi）与人合著了一篇获奖论文，里面测试了一系列先进人工智能系统能不能猜出《纽约客》漫画标题大赛的获奖作品，能不能解释出获奖作品的有趣之处在哪里。按照崔艺珍的说法，漫画标题作者的工作是安全的——至少目前是这样。

　　崔艺珍的研究重点是人类智能与 ChatGPT 等人工智能的众多不同之处。 “计算器算得比我更好更快，但这并不意味着计算器在智力的其他维度上优于我们任何人。”

　　崔艺珍出生在韩国，2000 年移居到美国，为微软工作，她职业生涯的大部分时间都在研究人工智能系统是否能够培养出常识以及幽默感。最近，46 岁的崔艺珍对开发理解社会和道德规范的人工智能系统产生了兴趣。 她说：“这源于我对公平以及多样性的兴趣”。但崔艺珍很快意识到，道德规范也与对齐相关，也就是确保人工智能系统按照其创造者的意图行事的问题。那些关心对齐的人往往会担心流氓人工智能可能会制定出有害的目标，并最终在追求这些目标的过程中杀死人类。但崔艺珍说，这样做显然违反了道德规范。不过她又表示，了解我们如何形成自己的道德感并不容易。 “人类如何获得这个东西是很神秘的。”

　　崔艺珍说，首先，人类要靠指导来辨别是非。从某种意义上说，很多大语言模型（比如为 OpenAI 的 ChatGPT 提供支撑的模型）就是这么训练的，利用了一个所谓的人类反馈强化学习 (RLHF)的过程。但崔艺珍表示，精心设计的指令可能会导致人工智能系统给出有问题的响应，而且当前的训练模型事实是“拼凑而成或属于大规模的打地鼠”，这一点应该引导我们继续寻找“一个更好、更强大、更简单的解决方案。”

　　崔艺珍现在把很多时间花在思考向人工智能系统传授道德价值观时缺失的部分。但是，她警告说，就算这个问题得到解决，要解决的问题还有很多。 她说：“对齐假设有一个可以优化的数学目标。但我不觉得人类社会是这样的，因为我们彼此之间是如此的不同。” 崔艺珍认为，考虑到文化规范的广泛性——即便在同一社区内，代际之间也持有截然不同的价值观——所以没法找到一种正确的解决方案加以优化。 “我们得设法弄清楚如何支持不同个人所拥有的这些多元化的价值观。”

　　杨立昆（Yann LeCun） 一直以来都是按照自己的节奏在前进。 20 世纪 80 年代，这位法国计算机科学家假设可以设计人工神经网络来模仿人类大脑，之后在几十年的时间里，他的想法被很多人嘲笑成异想天开。但由于这个领域的技术突破，杨立昆的想法将为当前的生成人工智能革命奠定基础。

　　如今，现任 Meta 首席人工智能科学家级纽约大学计算机科学教授的杨立昆仍会发表大胆、有争议的声明，与他不认同的人争辩。杨立昆说：“我是可以保持沉默，但这不是我的风格”。

　　比方说，杨立昆驳斥了人工智能会导致灭绝的恐惧，称这种观点很“荒谬”，跟“世界末日崇拜”类似，甚至一度与深度学习的其他两位先驱，2018年与他一道拿到图灵奖的杰弗里·辛顿 (Geoffrey Hinton) 与约书亚·本吉奥 (Yoshua Bengio) 发生争执。他认为，当前对大语言模型 (LLM)以及ChatGPT滋生的热潮是一种误导，很快就会陷入死胡同。他还极力捍卫人工智能在打击 Facebook 上仇恨言论方面的有效性。

　　问：你已经见证了人工智能的炒作周期。可不可以将这一刻与之前的几十年对比一下？

　　杨立昆：这个炒作周期的主要区别在于大家有东西可以玩。我认为这可以帮助激发很多人的想象力。

　　毫无疑问，这个领域的人（包括我在内）都对大语言模型的效果感到惊讶。但它离完美还差得远。通过让这些系统变得更大利用更多的数据，这样的训练方式并不能让它们达到人类智能。我现在是想用“等一下，游戏不会到此结束”这样的话来让大家稍微冷静一下。如果我们想象我们正走在通往真正智能机器的高速公路上，想想会很有趣，但其实我们是走在出口匝道上。

　　今年早些时候，Meta 决定把自己的人工智能技术作为开源软件赠送出去，这引起了包括谷歌以及 OpenAI 在内的众多实体的激烈批评。斯坦福大学的一位研究人员甚至把这种行为比作“给杂货店里的每个人提供了一枚手榴弹”。他们的担忧是否不是毫无根据？

　　开源生成模型已经出现好几年了，我们还没有看到这些东西被大规模用到大家谈论的邪恶用途上，比如大量生成虚假信息、网络攻击或设计致命病原体。我觉得这些场景就像007电影里面的那些场景。有些人就是以妄想为生的。

　　归根到底，你是不是相信整个社会还是会以一种绝对积极的方式去使用技术，哪怕存在某些邪恶的用途？印刷机也会让许多怀有恶意的人传播虚假信息，双向的互联网也一样，人工智能系统亦如此。但它给社会带来的好处实在是太大了，你可能愿意承受这些风险。

　　当然，对于那些相信寸止生死存亡风险的人来说，这种是没法做权衡取舍的。但那需要机器取得极大飞跃。当前的人工智能系统当然不存在生存风险。

　　这个世界的那些埃利泽·尤德科夫斯基们说：“如果你犯了一点小错误，只要打开这个超级智能系统，它就会立即接管世界并逃脱我们的控制。”但这样式行不通的。这就好像你在 1960 年的时候说：“我们要造第一架横跨大西洋的喷气式飞机。我们不会事先进行测试。我们会一造好飞机就让一千人坐上去，驾驶它飞越大西洋，希望它不会爆炸。”当然了，这是极其愚蠢的。

　　客机花了几十年的时间才变得超级安全：经过了数十年的微调与精心设计。如果你试图解释怎么让涡轮喷气发动机变得安全，你就得研究非常非常复杂的机械工程、热力学以及各种没人能理解的东西。你不需要很熟练就能想象出数百种涡轮喷气发动机会如何出事的情形。但实际上，设计一款可靠的产品需要真正的才华与专业知识。 [编者注：达到目前航空安全水平需要不断试错，这个过程多年来已经导致数千名乘客死亡。]

　　所以人工智能也是一样的情况。很多人说人工智能不安全。这些人很幼稚。他们不懂。这是一个我们甚至还没有开始着手解决的复杂工程问题，因为我们甚至还没有一个好的超级智能人工智能系统设计。

　　现在，很多人工智能研究人员自己都没法想象如何确保这些系统的安全，比方说杰弗里·辛顿和约书亚·本吉奥。但这个问题我已经思考很多年了。我认为可以通过设计它们必须遵守一定数量的目标来确保它们的安全。你得把这些目标硬写进去，这样从构造上就保证了系统在完成任务的过程中不会产生不遵守护栏的输出。

　　于是就引出了设计这些护栏的问题。但这并没有大家想象的那么困难，因为这跟设计法律有点类似。

　　你觉得是什么原因导致你的观点跟杰弗里·辛顿与约书亚·本吉奥的存在那么大的分歧？

　　辛顿认为大语言模型比我想象的更聪明，而且在它们如何让我们达到人类水平的人工智能的问题上，他比我要更乐观一些。所以他突然间意识到，“我们需要担心超级智能机器。如果你有一个更聪明的实体的话，它就会想要接管世界。”

　　我认为这是不对的。聪明和想要接管之间没有任何关联。哪怕是在人类内部，也不是最聪明的人就一定想当领导。事实上，大多数情况恰恰相反。

　　统治欲望确实是有等级组织和社会性的物种的特质。这确实是人性的结果，事实上也也是进化将我们塑造成这样的。但红毛猩猩并不是一个社会物种，也没有统治谁的欲望。它们不需要。所以我们可以像猩猩一样聪明，但没有任何统治的欲望。

　　你对目前 Facebook 上人工智能系统标记仇恨言论的正确率感到满意吗？

　　离完美还差得远。任何违反内容政策的帖子类型获得通过都属于失败。但它正在取得很大的进步，这完全归功于人工智能。

　　尽管大家不认可了这么多年，但你对神经网络的看法是正确的，这一点会不会让你对自己当前一系列有争议的观点更有信心？

　　我想我一直都比较固执己见，不怕站出来讲话。我是一名科学家。我可以保持沉默，但这不是我的风格。

　　27 岁的拉吉正在帮助这家初创公司训练一个内容审核模型，目的是要过滤掉露骨的图像，但她注意到该模型把包含有色人种的内容标记成不露骨的比例特别高。模型训练所用的数据缺乏多样性，而产品也反映了这一点。换句话说，这个程序正对真实世界进行过滤，让它变得更加白人化。

　　她了解到这种缺乏多样性并不是意外，而是行业常态。 “当我说我们需要更多样化的数据时，我得到的回应是，数据本来都已经很难拿到了，为什么还要考虑做出更复杂的选择呢？”

　　这段经历促使拉吉将她的注意力从创业世界转向人工智能研究，她开始关注人工智能公司如何确保自家的模型不会造成不当伤害，尤其是对在开发过程中可能被忽视的人群造成的伤害。 她说：“自我看来很显然，这个领域的人甚至都没意识到这是个问题”。

　　拉吉的工作重点从此变成了设计方法从内外部对开发人工智能系统的公司进行审计。她与谷歌的道德人工智能团队合作，为人工智能系统引入了更全面的内部评估流程。她还与算法正义联盟（Algorithmic Justice League）合作，为其性别阴影（Gender Shades，评估由 IBM、微软和 Face++ 开发的人工智能驱动的性别分类工具的准确性）审计项目制定了“外部审计”策略。

　　虽然许多关于监管人工智能的讨论都设想这种技术会在遥远的未来才使用，但拉吉表示，近期也需要关注。她指出，当公司在发布人工智能系统之前未能对其进行正确评估时，是会造成潜在影响的。算法可能会识别错嫌疑人，导致抓错人，或导致对有色人种的住房歧视长期存在。 拉吉说：“现实情况是，很多部署都已经开始了，而且执行起来相当随意”。

　　拉吉指出，在缺乏政府监管的情况下，目前得由开发者对自家产品及其可能造成的危害提供透明的评估，尽管者也许并不是最可靠的来源。 她说：“现在公司的产品是基于一个理想基准来评估的。从隐私到如实透露系统对特定用户的有效情况，基准都没有对产品做出修改要求。”

　　通过与 Mozilla 基金会（一家专注于互联网保护的全球非营利组织）合作，她一直致力于寻找开源的审计工具，从而在更广范围内实施之前，让（从政府官员到可能受系统影响的人的）任何利益相关者更好地理解产品，对其发起挑战。

　　她说：“一旦你从根本上开始质疑这些说法时，你会发现水面下的问题要复杂得多。这就像打开了潘多拉魔盒。”

　　今年 3 月，生命未来研究所（Future of Life Institute）发表了一封公开信，警告人工智能的最新进展对“社会和人类造成巨大风险”，并敦促人工智能实验室将训练比 GPT-4 还要强大的系统暂停。这封信获得了超过 30000 人的联署，其中包括该研究所的顾问埃隆·马斯克、苹果联合创始人史蒂夫·沃兹尼亚克以及作家尤瓦尔·诺亚·哈拉里（Yuval Noah Harari）等知名人士，从而帮助公众提高对人工智能安全问题的意识。

　　马克斯·泰格马克 (Max Tegmark) 是瑞典裔美国物理学家，也是这家总部位于麻省剑桥市的研究所的联合创始人，他把大量时间花在警告该组织所谓的“极端大规模风险”，比如核战争的影响以及无视通用人工智能或超级人工智能的威胁上。今年1月该研究所曾推出了一部虚构短片《Artificial Escalation》，里面探讨了美国和中国在核指挥系统中使用人工智能产生的灾难性影响，影片引起了大家的争议。

　　泰格马克专注于人工智能、物理学与神经科学的交叉领域，他是麻省理工学院物理学教授，但也在他的祖国瑞典学习过经济学。他在答问中介绍了《Artificial Escalation》，并分享了他对人工智能监管的必要性以及当前人工智能商业模式的道德规范的想法。

　　问：生命未来研究所最近发布了一部虚构短片，里面探讨了美国和中国将人工智能纳入各自核指挥、控制级通信系统的场景，结果是灾难性的。为什么要制作这部电影？为什么是现在？

　　马克斯·泰格马克：我们制作这部电影是为了说明人工智能推动危机升级的速度其实要快得多，比人类独立做出评估、表明意图和缓和升级的速度要快，从而大大增加了核战争的风险。全球领导人目前正在思考人工智能对国际和平与安全构成威胁的不同方式，这是主要方式之一。

　　有观点认为可以给军队设置足够的护栏，让人工智能无法决定人的生死，你怎么看？

　　首先，对于一项迫使我们的对手采取此类护栏的国际条约，美国政府目前是反对的。其次，上述护栏对于解决网络漏洞、认知不确定性或其他关键风险因素没有起到任何作用。最后，正如我们在电影里面所看到那样，名义上有人类参与决策并不意味着我们能保持控制。

　　最好的行动方针是效仿生物技术，确保有潜在危险的产品要获得在人工智能[版] 的FDA 批准。超过60%的美国人支持这种做法。

　　人类会在未来几十年内灭绝。掀起超人类人工智能竞赛的首席执行官们最近签署了一份声明，警告他们正在尝试开发的产品可能会导致人类灭绝。他们不清楚这些人工智能的工作机制，也没有令人满意的解决方案来保证它们的安全。

　　变化的节奏。人工智能的发展太快了，快到很多多专家预计它会在几年内在大多数任务的表现上超越人类。大家需要明白，如果我们现在不采取行动的话，那就太晚了。

　　亚当·麦凯（Adam McKay）的《不要抬头》。这部电影很好地展现了我们现在所处的位置，以及我们将来要去到哪里（如果小行星代表超级智能的话）。

　　约书亚·本希奥（Yoshua Bengio） 是过去三十年最重要的人工智能研究人员之一，对于人工智能可以做什么，他的了解程度比大多数人都要好。尽管如此，在邂逅了 OpenAI 2022 年 11 月发布的人工智能聊天机器人 ChatGPT 时，本希奥还剩产生了“本能”反应。他用了一整个冬天以及春天的大部分时间，才开始从理性和感性上调整到位，接受了人工智能超越人类速度的新认识。

　　本吉奥在今年8月下旬的一次演讲中说道：“在心理上意识到你一直在为之努力的事业，你以为对社会、人类、科学来说是件好事，但实际上可能却是灾难性的，这一点是非常具有挑战性的。这就像你以为自己一辈子都在行善，然后有人[告诉你]你其实一直在制造一颗会杀死所有人的炸弹。”

　　今年 3 月，59 岁的本吉奥公开谈起了人工智能带来的风险，就在他的导师杰弗里·辛顿（2018 年与他一起获得了著名的图灵奖）离开谷歌的几周前，他发出了警报。在蒙特利尔大学担任教授已有三十多年的本吉奥说： “辛顿跟我在没有相互沟通的情况下得出了相同，或者说非常相似的结论”。 本吉奥和辛顿分别做出预测，在未来 5-20 年内的某个时候，将会开发出在所有任务上都优于人类的人工智能。

　　本吉奥所在的团队取得了多项基础性突破，从而为人工智能近期的快速发展奠定了基础。 2003 年，本吉奥证明神经网络可以通过预测下一个单词来学习人类的语言模式（比方说自动更正），这为现代大语言模型奠定了基础。 2014 年，本吉奥与伊恩·古德费洛（Ian Goodfellow）合作，提出了一种训练人工智能的方法，让两个人工智能相互竞争，一个生成内容，另一个判断其质量。 2018 年，本吉奥帮助形成了注意力适应神经网络的概念，通过关注最相关的部分来理解社交网络等高度关联的数据。

　　与大多数同行不同，本吉奥一直不为产业界的更高薪水或更多的计算资源所动。他解释道： “我本质上是一名学者——我希望在我所做的事情上保持自由”。

　　现在，本吉奥打算利用他非凡的智力，认真思考当前的形势，他说，“人类似乎陷入了绝望”。

　　本吉奥表示，未来，人工智能可能会胜过我们。但在那之前情况可能会变得很棘手。 本吉奥说：“近在咫尺的一件就是干预选举。下次美国大选可能就会发生这种事情。”今年，他前往美国国会就人工智能的危险作证，并撰写了有关人工智能政策和治理的论文。他打算开始将工作转向对人工智能安全技术的研究。

　　本吉奥说：“不管是哪种情况，真正的问题是，我能做些什么来降低这些风险？我没法将其归零。目前还不清楚是不是有人可以做到。但如果我们能够将坏事发生的概率降低 10 倍，那就去做吧。”

　　艾米莉·本德（Emily M. Bender） 并不认为自己是人工智能研究员。这位华盛顿大学教授首先是一位语言学家。但她对大语言模型危险性的敏锐研究以及对人工智能炒作周期的严厉盘问让她成为本行业火力最强大的批评者之一。

　　早在 ChatGPT 出现之前，Bender 就已经是机器学习神话的戳破者，她揭穿了关于人工智能功能的过度承诺，并挑战这些系统是智能的想法。她说： “你不能指望机器学习系统能够学会训练数据没有的东西。否则你就是在期待魔法出现。”

　　在 2020 年一篇有先见之明的论文里，本德与她的合著者将大语言模型比作是在水下电缆旁，监听位于不同荒岛的两个人通话的章鱼。如果章鱼花费了大量时间偷听他们之间的对话，也许就能很好地预测每一方的反应，然后就可以切断电缆，并冒充对话的其中一方。但它没法理解自己所说的话或听到的话——如果其中一位岛民需要帮助对方抵御熊的袭击的话，问题就大了。本德认为，“人们以为它能够理解，这是很危险的。”

　　本德继续探讨了大语言模型的直接风险：在气候危机时期，它们会是能源消耗大户。它们加剧了偏见，并自信地将谎言视为事实，污染了信息的生态体系。而且它们在解析英语以外的语言方面表现通常要差得多，当这些模型被应用到紧急响应系统等关键基础设施之中时，非英语使用者将面临风险。本德敦促这个领域的研究人员至少要告知他们用来开发模型的语言名称，以免给人留下错误且可能有害的印象，即这些系统对于非英语世界同样有效。本德的声音铿锵有力，事实上，它现在被称为“本德原则”。

　　虽然本德不是政策专家，但在过去一年的时间里，她的工作帮助立法者形成对人工智能偏见和监管必要性的看法。越来越多的危言耸听者警告说人工智能很快就会变得复杂到将取代我们所有人，她是这种声音重要的反对者。在本德看来，真正的风险在于相信这些系统更像我们人类而不是章鱼。

　　玛格丽特·米切尔 (Margaret Mitchell) 与蒂姆尼特·格布鲁 (Timnit Gebru) 曾共同领导过谷歌人工智能道德团队三年。但两人在 2020 年发表了一篇论文，里面提出大语言模型加剧了社会不平等，部分是因为企业决定将规模置于安全之上，米切尔和格布鲁表示自己因此被迫离职。 （谷歌称米切尔是因为违反行为准则而被解雇的，格布鲁则是自己辞职的。）米切尔此后变成了一名主要批评者，职责人工智能公司缺乏多样性和包容性，从而对这些公司所开发的技术的质量产生负面影响。现在，米切尔是面向开发者的人工智能初创企业 Hugging Face 的首席人工智能伦理科学家。她的公众重点是确保开源人工智能带来的好处尽可能的多，并尽可能地减少危害。

　　玛格丽特·米切尔：这与技术本身无关，而与创造技术的文化有关。这个圈子存在一种狭隘的思维方式，不成比例地将女性和有色人种排除在外。这意味着技术地每一个发展方向都没有充分考虑到人类价值观的多样性。因此，虽然一方面他们开始声称他们想要开发出符合人类价值观的系统（顺便说一句，这儿是好事，女性和有色人种讨论这个问题已经有 20 年了），但却是口惠而实不至，他们并不理解什么是价值多元化，不知道往一个系统注入价值意味着什么，并且只能以过于简单的数学方式来做这件事。因此，部分推出这项技术的公司显然没法反思他们是如何制造了自己公开表示想要避免或减轻的问题的，这实在是令人愤怒。我晚上睡觉时的感受不是担心，而是愤怒。

　　说到人工智能的风险和危害，你是否担心不断渗透会成为大语言模型、diffusion模型以及其他形式的人工智能所造成危险的主要部分？人工智能带来的危险有多少来自于权力集中在少数人手中，又有多少来自于赋予了不大但很坏的行为者更多的权力？

　　这是一个非常常见的误解。不管是封闭系统还是开放系统，坏人都会干坏事。一般来说，有时候最有效的攻击是在封闭系统内进行的，因为攻击大众会更容易。[开放系统中]的安全漏洞会不断有人寻找并做出修复。我同意你的观点，坏人可以用开源软件来做出坏东西。这确实是的。我只是不确定净伤害是坏人造成的。这有很多原因。不良行为的载体是通过社交媒体平台、新闻网站或类似的东西。因此，在控制坏人方面，我认为应该继续致力于保障分发途径。但总的来说，这些（可能会生成恶意材料的）开源模型用小型个人计算机就可以跑，但规模不大。要想大规模部署，你得利用其他服务，而这其他服务就是限制因素。

　　我希望大家不要滥用多义性。因此，机器学习里面的“学习”的意思跟人类智能里面的“学习”含义有所不同。但在讨论的时候“学习”被滥用了，他们假装这是一码事。有人滥用术语来误导。公众感到困惑。作为一个真正理解这门语言的人，目睹这一切实在是令人愤怒。

　　2007 年，保罗·沙瑞尔 (Paul Scharre) 随美国陆军游骑兵部队前往伊拉克，途中他遭遇了公路炸弹。 “我本以为会看到拆弹人员（技术员）穿着大大的拆弹服出来，就像电影《拆弹部队》的情形那样。结果他们弄了一个小机器人来拆除炸弹。我脑子里的那盏灯一下子亮了。”

　　几年过去了，进入美国国防部工作的沙瑞尔多次出访伊拉克和阿富汗之后，他的那盏灯依然亮着。他首先想要探索的事情之一是用机器人技术来拉开军事人员与潜在威胁之间的距离。后来，他带领一个工作组起草了制定美国国防部自动武器系统政策的命令。

　　自 2013 年离开美国国防部以来，沙瑞尔一直在军事事务智库新美国安全中心（Center for a New American Security）工作，一开始担任研究员，最近担任副主任兼研究主任。他继续关注着人工智能与军事的交叉领域，会经常关注该领域的行动。2018年，他出版了自己的第一本书《无人军队》（Army of None: Autonomous Weapons and the Future of War）。这本书重点关注无人机等武器，这是当时人工智能与军事结合的核心问题。

　　尽管担心强大的人工智能系统落入对手手中，但沙瑞尔也担心涉及强大人工智能系统的事故。 “我担心会发生行业事故。我也担心会发生人工智能武器化形式的事故——各国都已经将人工智能引入到军队之中。”

　　他承认，在国土安全界这种观点属于少数，因为“国家安全机构往往优先考虑保持竞争的领先地位”。

　　沙瑞尔担心，无论是国家层面的监管还是国际层面的条约缺乏协调，都可能导致出现危险的军备竞赛。 “未来可能会出现一些我们根本就不应该做出来的人工智能系统。具体什么样的系统我们还不知道。但有些系统也许就是危险到不该开发出来或部署出去的。”

　　人工智能系统现在的反应还很迟钝，敏锐的用户通常可以判断出它们的输出是否存在潜在危害。比方说，如果一位首席执行官要求 GPT-4给她提供实现公司利润最大化的方法建议，她是很有可能判断出 GPT-4 的回答会不会导致公司破产的。

　　但随着人工智能系统的能力变得越来越强大，它们的输出可能会变得复杂到人类无法评估的地步。对于那些致力于对齐的人来说，这一点尤其令人担忧——这个研究领域致力于确保人工智能系统按照创造者的意图行事——因为他们担心人工智能系统可能会制定出对人类而言可能是灾难性的目标。比如说，如果 GPT-6 被问到如何实现公司利润最大化，它很可能会生成一个首席执行官无法评估的极其复杂的计划。如果她决定执行这项计划，她的利润可能会飙升……或者 GPT-6 可能会操纵她，为自己的议程谋取巨大权力。在按下回车键之前，她可能根本没法知道会产生什么结果。

　　36 岁的雷克是顶级人工智能实验室 OpenAI Superalignment 团队的联合负责人，他希望自己的工作能让真相更容易被揭开。

　　自从看了雷·库兹韦尔（Ray Kurzweil）与埃利泽·尤德科斯基（Eliezer Yudkowsky）的作品以来，雷克花了十多年的时间去思考对齐问题。在与开创性的对齐研究人员，如曾任澳大利亚国立大学教授、现任 DeepMind 高级研究员的马库斯·赫特（Marcus Hutter），《超级智能》（Superintelligence）一书的作者尼克·博斯特罗姆（Nick Bostrom），以及 DeepMind 的谢恩·列格开展了密切合作之后，雷克于 2021 年加入了 OpenAI。

　　现在，雷克正在参与迄今为止最雄心勃勃的对齐努力之一。今年7月， Superalignment 团队宣布，他们给自己留出了四年的时间窗口期，“以确保比人类聪明得多的人工智能系统能遵循人类意图”。为了帮助他们完成这项任务，他们被分配了 OpenAI 稀缺且昂贵的计算资源的20%，还有共同领导该团队的 OpenAI 首席科学家伊尔亚·苏茨克维的强大脑力支持。

　　雷克认为，这些潜在的人工智能系统可以从多方面提供帮助。比方说，它们可以帮助检查构成人工智能系统世界模型的大量数学表示，即便是开发人工智能模型的科学家都很难解释这些数学表示。今年 5 月，OpenAI 朝着这个方向迈出了早期一步，他们发表了一篇论文，里面解释了 GPT-4 试图解释 GPT-2里面每个神经元的用途。尽管结果好坏参半，但还是取得了一些成功——GPT-4 发现了一个似乎与“对加拿大人、地点与实体的引用”相对应的神经元。

　　也许是因为雷克致力于对齐的实际解决方案而不是思想实验，所以他比许多致力于预防人工智能相关灾难的人要乐观一些——他更愿意强调人类能动性之大。

　　雷克说：“还有很多事情悬而未决。人类对所发生的事情拥有很大的所有权，我们应该努力让它走正路。从某种意义上说，[避免人工智能灾难]是每个人的责任，因为这可能需要很多人共同努力，并在正确的时间做出正确的决定。”

　　希腊神话中的迈达斯国王希望自己碰到的一切都能变成金子。他的愿望得到了实现，但这个恩赐很快就变成了诅咒，甚至连他吃的东西和他的女儿都被变成了金子。

　　十年前，很多关于人工智能世界末日的思想实验都设想过迈达斯国王的情形。在这些思想实验里，人类会告诉人工智能系统该做什么，而人工智能则会最大限度地、一字不差地执行，从而导致灾难发生。比方说，一个人工智能系统被告知要最大限度地提高回形针工厂的产量，然后，它就会把地球上的所有原子，包括构成人体的原子，都变成回形针。

　　那些致力于对齐（确保人工智能系统按照创造者的意图行事）的人不再担心这一点。研究人员现在可以训练人工智能系统通过迭代地方式学习难以阐明的目标，方法是让人类根据人工智能给出的响应的帮助程度对它们进行排名，并让人工智能系统学习生成它预测会被评为帮助作用尽可能大的结果。通过这种方法，人类不必说出他们希望人工智能做什么，只需要告诉人工智能它是否做到了即可。

　　这种技术被称为基于人类反馈的强化学习（RLHF）。保罗·克里斯蒂亚诺 (Paul Christiano) 是其主要架构师之一。 作为对齐领域最受尊敬的研究人员之一，克里斯蒂亚诺于 2017 年加入了 OpenAI。四年后，他离职并成立了对齐研究中心 （ARC，一家位于加州伯克利的非营利性研究组织），开展理论对齐研究并开发技术来测试人工智能模型是否具有危险能力。当 OpenAI 与 Anthropic 想知道是否应该发布自己的模型时，他们会去问 ARC。

　　保罗·克里斯蒂亚诺：先介绍一下背景。在我加入 OpenAI 之前，有两条相关线索需要注意。一是我已经思考对齐已经有很长一段时间了，我一直尝试理解合理的对齐解决方案是什么样的。 RLHF 是一个非常早期且自然的步骤。

　　我认为第二条需要注意的线索是，一群人通常在更简单的环境下致力于从人类那里学习价值观。有一群人，尤其是机器人领域的那些人，正在思考如何学习难以指定的任务的奖励函数。

　　[OpenAI] 的第一个项目试图进入某些深度 RL [强化学习] 效果很好的领域。模拟机器人任务和玩游戏是深度强化学习最成功的两个领域。因此，我们刚刚在这两个领域做了一个项目，结果表明人类定义的模糊目标是可以学习的。这个项目做得相当不错，然后下一步就是尝试把它适配到更有趣或更现实的模型 - 尝试用到语言模型上。这是与训练 GPT-1 并行进行的，或者时间稍早一些。

　　我修完了学习理论的博士学位。我天然的比较优势肯定是做理论研究。我之所以在这四年从事实证研究，很大程度上是因为关于对齐的实证研究还不够充分，而且似乎在 OpenAI 这里，我可以帮助去实现一些该有的非常基本的东西。

　　就具体时间而言，大约在同一时间内，跟我合作的一帮人离开并成立了 Anthropic。因此，这在一定程度上增加了与 OpenAI 以外人员合作的动力，并减少了与 OpenAI 的人沟通的动力。我稍微考虑过政策影响力问题。但最重要的事情肯定是想回到理论研究上。

　　对实验室施加外部压力，让对方实施负责任的政策非常重要。我认为，无论是对于实验室施加压力而言，还是对于作为与世界其他地方互动而言，拥有不被看作是实验室的人是很有价值的。

　　模型评估旨在了解人工智能系统可以做什么（能力），以及它们是否按照开发者的预期工作（对齐）。 对齐研究中心对OpenAI与Anthropic均进行了模型评估。这些是怎么做出来的？是通过你跟这些公司的个人关系来实现的吗？

　　进行评估的理由非常充分。所以与我有任何关系无关，是这些实验室很乐意做的事情。我与 OpenAI 和 Anthropic 的人关系是不错，这对我很有帮助，所以这件事做起来特别容易。我还认为这两家可能是对进行此类评估最感兴趣的组织。

　　你在对齐社区的时间比大多数人都长。对齐社区是不是可以通过一些方式上的改变，从而在其寻求解决的问题上取得更好的进展？

　　实际上，最重要的事情似乎是引入更多关心对齐的人。早在 2012 年，只有当你对人类的长远未来真正着迷，或者对人工智能异常兴奋的时候，你才会考虑这个问题，那时候的情况是说得过去的。那时候还没看到当今世界出现的这些我们所担心的风险，但我认为给我们今天的处境与未来的风险之间划清界限要容易得多。

　　从社会影响的角度来看，让更多的人思考这个问题也是很有意义的。各国都应该积极关注这件事，更广泛的社会也应该积极关注。聪明人对这些问题越来越感兴趣，并且除了机器学习圈子与湾区以外，它正在拓展到新的方向。

　　25 年前，当卡利卡·巴里（Kalika Bali）告诉其他技术专家她想用全世界最边缘化的语言工作时，他们劝这样只会边缘化自己。 来自印度的巴里无视这个建议：“我就觉得我周围的人没法获得技术，于是我坚持了下来——现在我非常乐观。”

　　在大型科技公司的研发子公司微软研究院，巴里正在努力确保人工智能的爆发能够包容边缘化语言。在盖茨基金会的一个项目力，她正在帮助用五种印度语言（总共有超过 10 亿人使用）建立“性别意向性”数据集。通过确保这些数据集不包含有从互联网上抓取人工智能训练数据时经常出现的性别偏见，巴里希望不仅能让更多的人接触技术，而且能够以一种不带偏见的公平的方式与技术互动。这个项目有发挥更大影响力的机会：它可以帮助巴里及其同事开发一个有望消除现有人工智能数据集的性别偏见的工具。

　　在微软研究院的另一个项目里面，巴里正在研究代码混合（code mixing）——这种做法在多元文化社区当中很常见，将两种语言集成到一起——以确保人工智能工具也能满足这些社区的需求。 巴里说：“我认为应该有一个语言不再成为技术障碍的世界。这样每个人不管说什么语言就都可以使用技术了。”

　　在 2019 年出版的非小说类著作《人类兼容》(Human Compatible) 里，计算机科学家斯图尔特·拉塞尔 (Stuart Russell)将人类在不考虑后果的情况下开发人工智能的尝试比作高级外星文明与人类之间进行电子邮件交换。外星人给人类发电子邮件说：“警告：我们会在 30 到 50 年内抵达地球。”他们会收到自动回复：“人类目前不在办公室。我们回来后会回复你的消息的。”

　　出生于英国的拉塞尔在获得博士学位之前曾在牛津大学学习物理学。在斯坦福大学，他职业生涯的前半段都是在加速外星人的到来。作为加州大学伯克利分校电气工程与计算机科学教授，拉塞尔对这个领域做出了基础性的贡献。他还帮助其他人进入该领域并做出了自己的贡献。他与彼得·诺米格（Peter Norvig）一起撰写了权威著作《人工智能：现代方法》（Artificial Intelligence: A Modern Approach），据称该书已被 134 个国家的 1547 所学院和大学使用。

　　但大约在十年前，拉塞尔开始思考一个问题：如果我们成功了怎么办？ 2013 年在收到一封电子邮件之后，拉塞尔成为禁止致命自主武器系统直言不讳的倡导者，他担心一旦这些系统可以廉价生产，形成军团，就会被用来针对不同肤色或政治立场的人群。 2016年，他在伯克利成立了人类兼容人工智能研究中心（Center for Human-Compatible Artificial Intelligence），其主要关注点是“确保人工智能系统对人类有益”。

　　人工智能的快速发展让他更加悲观。 “重要的是哪个先到？是先实现真正的通用人工智能，还是先想办法保证它的安全？现在感觉前者发生的可能性更大了。这可能会带来很大的问题。”

　　但总的来说，拉塞尔感觉比十年前更加乐观。最近的进展以及顶尖科学家表达出来的担忧，比如他与其他 30000 多人在 今年3 月联署的呼吁暂停大型人工智能实验的公开信，“让政府接受了这样一个信息：关于安全，我们得做点什么。”

　　外星人到达的时间可能比我们之前想象的还要早。但拉塞尔对大家对这封公开信的反应感到振奋。 他说：“3月底时，人类又回到办公室了。”

　　关于人工智能的讨论可能充满了夸张的成分。那些试图兜售产品和服务的人会吹嘘人工智能系统已经能做到的事情。那些担心人工智能风险的人常常出于对尚不存在的能力的恐惧而发表看法。那些试图获得投资的人对人工智能将带来的好处赞不绝口。

　　2019年，普林斯顿大学计算机科学教授阿尔温德·纳拉亚南（Arvind Narayanan）做了题为“如何识破人工智能骗局”的演讲。这次演讲迅速走红：幻灯片被下载了数万次，他的推文被数百万人浏览。觉察到大家兴趣的纳拉亚南开始与他的博士生萨亚什·卡普尔 (Sayash Kapoor) 合作，写一本关于这个主题的书，该书将于 2024 年出版。

　　纳拉亚南：我认为有很多因素。我首先思考的是，不要关注这些骗局的供给侧，而是要关注其需求侧。如果需求存在，自然就会有供给。如果大家不买账，那就算有人想炒也炒不起来。

　　那么需求从何而来？我们在书里提出的论点是，坏掉的人工智能对于坏掉的机构非常有吸引力。人力资源部门之所以迫切需要人工智能来预测哪些候选人会表现出色，是因为每个空缺职位都会收到数百甚至数千份申请。以人们希望的方式彻底做出评估的想法是行不通的。这是因为招聘流程本身似乎已经坏掉了。

　　我要指出的另一点是，因为从很多方面来说[机器学习]都是十分棘手的技术，它非常非常容易自欺欺人。所以很多炒作的人不仅是在愚弄别人，更是在愚弄自己。

　　对于人工智能可能对人类构成生存风险的观点，你们有何看法？对齐是我们应该担心的问题吗？

　　纳拉亚南：当然可能会带来生存风险。但我们对很多观点是强烈反对的。有种看法认为可以用发生概率来指导政策。但当我看了这些概率估计背后的方法之后，我觉得都是胡说八道。关于人工智能的影响，一项被广泛引用调查称，50% 的人工智能研究人员认为，生存风险至少有 10% 的可能性。但这份调查的回复率非常低，而且属于自我选择——认真对待这一风险的人会选择作答。所以存在很大的选择偏差。

　　也许我们应该认真对待生存风险，我对此并不否认。但正在提议的那些干预措施——要么我们应该找到一些灵丹妙药式的技术突破，要么我们应该放慢这项技术的发展速度，要么得禁止这项技术，要么将其限制在极少数公司手中——所有这些措施确实都是存在问题的。我认为对齐不会来自某种灵丹妙药式的技术解决方案，而是来自于研究坏人会如何利用人工智能来伤害他人或我们的社会，然后对所有这些攻击面进行防御。

　　自沙基尔·穆罕默德（Shakir Mohamed） 2007 年进入剑桥大学学习机器学习以来，人工智能领域已经取得了长足的进步。

　　2013 年，穆罕默德加入了当时位于伦敦的一家叫做 DeepMind 的小型初创公司。在那里，他开创了部分生成人工智能模型的早期研究。他的论文被引用次数达数千次，现在，他是 Google DeepMind 的研究总监。但穆罕默德的热情不仅仅局限于技术研究。穆罕默德在南非长大，他在职业生涯早期就注意到来自自己的大陆研究人员稀缺。 2017 年，他与人共同创立了 Deep Learning Indaba，旨在加强整个非洲的机器学习与人工智能。

　　Indaba 是讨论严肃话题的聚会，Deep Learning Indaba汇聚了非洲领先得研究人员，每年都会提供交流和学习得机会。它还为在 36 个不同国家举办的小型 IndabaX 会议提供支撑，并通过为非洲大陆最具影响力的机器学习论文提供奖项来激励研究。

　　因为这些会议而走到一起的一些人最终共同创立了 Masakhane 与 LelapaAI 等初创企业，开发出专门为非洲语言设计的自然语言处理软件。在东欧和拉丁美洲，机器学习研究人员也受到了 Indaba 的启发，纷纷创办自己的会议和活动，以增加中低收入国家的代表性。

　　穆罕默德说：“我个人的使命是致力于具有社会目的的机器学习”。他用一个例子来警告说，如果没有世界各地人民的适当代表，像人工智能这样的新技术很容易造成伤害：研究人员曾用创新的预报技术来预测 1998 年秘鲁的厄尔尼诺天气系统。但这些信息经常被渔业界误解，有时甚至被忽视掉，部分是因为科学家不知道如何跟渔民沟通。穆罕默德希望开展把当地社区的需求放在优先地位得人工智能研究项目。 他说：“这是推动我工作的价值观之一”。

　　为什么风投公司General Catalyst想花费数十亿美元收购一家医院系统？