霍金隔空对话李开复：超级AI将毁灭人类？AI 科学家还有什么机会？

本篇文章5350字，读完约13分钟

人工智能的全面发展可能会毁灭人类。

4月27日，黑色智慧(vr-2014)来到今天开通的gmic北京站。今年大会的主题是关注未来，关注现在。因此，可以预期，关于人工智能主题的讨论也是其中的一个重要部分。在今年的会议上，剑桥大学的物理学家斯蒂芬·路·威廉·路·霍金自然是最引人注目的一位。

霍金的人工智能威胁理论早已为人所知。他自然地重申了这一点，提醒全世界要小心人工智能对人类的毁灭性威胁。他承认人工智能的巨大发展潜力，并促进了人类文明的进步，但他仍然说，人工智能有潜力根除疾病和贫困，但研究人员必须能够创造可控的人工智能。

创新工场创始人兼首席执行官李开复表示，霍金提出的超级智能和未来人工智能并不是从今天的科学中可以推断出来的必然结果。尽管有必要关注它，但他更关心的是在人工智能时代科学家将面临的机遇和挑战，以及当机器逐渐取代人类职业时我们的教育。

同时，李开复指出，人工智能时代的科学家将面临三个问题:科学家的选题往往不太晦涩和微妙；科学家的选题与主流风险投资的关注之间存在巨大差距；科学家通常不愿意承认他们没有将技术应用于商业的洞察力和能力。因此，想创业的科学家应该问问自己，他们是否能克服这些盲点。

以下是霍金和李开复演讲的要点，并对《黑之》进行了删节。

霍金:人工智能的全面发展可能会毁灭人类

在我的一生中，我目睹了社会的深刻变化。其中，对人类影响越来越大的最深刻的变化是人工智能的兴起。简而言之，我认为强大的人工智能的崛起是人类历史上最好的事情，也是最坏的事情。我不得不说，我们仍然不确定这是好是坏。但是我们应该尽最大努力确保它的未来发展有益于我们和我们的环境。

文明带来的一切都是人类智慧的产物。我相信生物大脑能实现的和计算机能实现的没有本质上的区别。因此，它遵循的原则是，计算机可以在理论上模仿人类的智能，然后超越它。但是我们不确定，所以我们不知道我们是否会无限期地得到人工智能的帮助，被轻视和边缘化，或者被它摧毁。事实上，我们担心智能机器将能够取代人类正在做的工作，并迅速消除数百万个工作岗位。

虽然人工智能已经从最初的形式发展起来，并被证明非常有用，但我也担心创造出可以与人类相媲美或超越人类的东西的结果:一旦人工智能摆脱束缚，它将在加速状态下重新设计自己。由于长期生物进化的限制，人类无法与之竞争，并将被取代。这将给我们的经济带来巨大的损害。在未来，人工智能可以发展自我意志，一种与我们冲突的意志。虽然我一直对人类持乐观态度，但其他人认为人类可以长期控制技术的发展，这样我们就可以看到人工智能解决世界上大多数问题的潜力。但我不确定。

2015年1月，我与科技企业家埃隆·马斯克(Elon Musk)以及许多其他人工智能专家签署了一份关于人工智能的公开信，旨在倡导认真研究人工智能对社会的影响。在此之前，埃隆·马斯克警告人们，超人的人工智能可能会带来不可估量的好处，但如果部署不当，它可能会给人类带来相反的效果。例如，人工智能有消除疾病和贫困的潜力，但研究人员必须能够创造可控的人工智能。

在过去的20年里，人工智能一直致力于解决智能主体(即能够在特定环境中感知和行动的各种系统)构建过程中出现的问题。在这种情况下，智力是一个与统计学和经济学相关的理性概念。一般来说，这是一种做出好的决定、计划和推论的能力。在这些工作的基础上，大量的整合和杂交育种被应用于人工智能、机器学习、统计学、控制论、神经科学等领域。共享理论框架的建立，加上数据提供和处理能力，在各个细分领域取得了显著的成功。如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。

随着这些领域的发展，从实验室研究到有经济价值的技术形成了良性循环。即使是微小的绩效改进也会带来巨大的经济效益，从而鼓励更长期、更大的投资和研究。目前，人们普遍认为人工智能的研究正在稳步发展，其对社会的影响可能会扩大，潜在的好处是巨大的。因为文明产生的一切都是人类智慧的产物；当这种智能被人工智能工具放大时，我们无法预测我们会取得什么成就。然而，正如我所说，根除疾病和贫困并非完全不可能。由于人工智能的巨大潜力，研究如何受益和规避风险是非常重要的。

目前，人工智能的研究发展迅速。这项研究可以在短期和长期内进行讨论。一些短期的担忧是关于无人驾驶，从民用无人机到自动驾驶汽车。例如，在紧急情况下，无人驾驶汽车必须在小风险的大事故和高概率的小事故之间做出选择。另一个担忧是致命的智能自主武器。它们应该被禁止吗？如果是这样，如何准确定义自主性。如果没有，我们应该如何对任何误用和错误负责？还有其他问题。人工智能可以逐渐解释大量监控数据所带来的隐私和担忧，以及如何管理人工智能取代工作所带来的经济影响。

长期关注的主要是人工智能系统失控的潜在风险。随着不遵从人类意志的超级智能的兴起，这个强大的系统威胁着人类。这种错位的结果可能吗？如果是，这些情况是如何发生的？为了更好地理解和解决危险的超智能上升或智能爆炸出现的可能性，我们应该投资什么样的研究？

目前控制人工智能技术的工具，如强化学习和简单实用的功能，不足以解决这个问题。因此，我们需要进一步研究，以找到并确认一个可靠的解决方案来控制这个问题。

简而言之，人工智能的成功可能是人类文明史上最大的事件。但是人工智能也可能是人类文明的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全面发展可能会导致人类的灭亡，比如最大限度地使用智能自主武器。

在这个阶段，我对灾难的讨论可能会吓到在座的各位。我很抱歉。然而，作为今天的参与者，重要的是你要认识到你在未来研究和发展中的地位，这将影响到当前的技术。我认为，我们团结一致，呼吁支持国际条约，或签署给各国政府的公开信。科技领导人和科学家正在尽最大努力避免不可控人工智能的出现。

然而，我们意识到了潜在的危险，但我内心仍然乐观，我相信创造智力的潜在好处是巨大的。也许借助这种新的技术革命工具，我们将能够减少工业化对自然造成的危害。

我们还应该发挥作用，确保下一代不仅有机会，而且有决心在早期阶段充分参与科学研究，以便他们能够继续发挥潜力，帮助人类创造一个更美好的世界。我们站在一个美丽新世界的入口处。这是一个激动人心和不确定的世界，你们是先锋。我祝福你们。

李开复:人工智能时代的科学家创业

霍金教授认为，超级智能和未来的人工智能会挤压人类，这不是从今天的科学中可以推断出的必然结果。当然，不可避免的事件并不意味着我们不应该关注它，但我认为人工智能对今天在座的每个人来说最重要的意义应该是以下四件事:

首先，人工智能将创造巨大的财富，并给人类摆脱贫困的第一次机会。

第二，我们必须担心拥有巨大人工智能能力和数据的公司(垄断企业)是否会利用数据作恶。

第三，人工智能将取代50%的人的工作(在未来10-15年内)。这些人怎么样，更重要的是，教育怎么样？

第四，科学家，尤其是人工智能科学家的使命和机遇是什么？你想创业吗？还是跟随霍金去寻找人类的未来？

我作为一名科学家开始了自己的事业。我在新加坡航空公司开了自己的公司。当时，我们所做的是，我们能不能让每一个网页都充满3d，3d游戏和动画让网页更精彩，让人们浏览房间而不是网页，这在一定程度上与今天的虚拟现实非常相似。这次冒险失败了，投资2000万美元，雇佣了100名员工，几乎全军覆没。我从这次失败中吸取了一些教训，我想和大家分享。

今天，当我在麻省理工学院发表演讲时，我要求每个演讲者在演讲后留下一句话。我留下的句子是创新很重要，但不是最重要的，最重要的是做出有用的创新。

科学家经常被他们自己的研究和他们认为很酷的东西所感动，也认为他所看到的是全世界人类所需要的。但事实可能并非如此。例如，我做了顶级研究，进入了顶级公司，但我在那家内部企业生产的产品仍然遭受滑铁卢。

人工智能科学家应该怎么想？本质上，科学家和企业家是非常不同的。科学家追求科研突破，企业家追求商业回报；科学家注重严谨，科学家注重速度；科学家需要缓慢工作，而企业家需要快速迭代。这六件事经常相互矛盾。这六件事中最重要的是我深深体会到了。在科学研究领域，我们每次问的第一个问题往往是这件事是不是别人做的，是不是全新的。如果有人做到了，这取决于他们是否有附加值。附加值不如突破性价值大。因此，每个科学家都不断地要求创新，而创新就是做以前没有做过的工作。

但是企业家或风险投资者更关注什么呢？如何制造产品，如何创造商业价值。在今天vc的投资过程中，我们投资的每个团队都要承担人才、业务、竞争和执行的风险。我们不想再冒技术风险了，所以我们宁愿看到一个团队说:这项技术已经被证明了，但是我们只是把它应用到现场。

这与科学家、企业家和风险投资者的本性大相径庭。科学家非常聪明。每个人都有很多想法，但是如果一个创业公司每天都给出一个想法，它就会死去，因为它什么都做。精益创业之父史蒂夫·布兰克帮助科学家创业。总结是，科学家必须小心，因为他的课题选择往往是孤独的，没有多少市场；第二，选题和风口有很大的区别；第三，科学家不愿意承认他们可能没有将技术转化为价值的洞察力和执行力。每个想创业的科学家都必须真诚地问自己是否会面临这些问题。

今天，科学创业正面临历史上最好的机会。除了人工智能，几乎每个领域都是创业的机会，如区块链、生命科学、细胞扩增和基因编程。但是科学家在创业时必须想清楚。

在互联网时代，归国人员注定要创业，因为他们看到了互联网在国外的崛起，并把它带到了中国。移动互联网的应用注定是产品经理的创业，因为在这个时代我们需要快速迭代产品。在o2o时代，将地面销售与后台技术相结合是我们需要衡量的事情。美团和迪迪真是天生一对。

但是在人工智能时代，人工智能科学家必须是核心和最需要的。今天，人工智能技术还没有进入主流，人工智能平台还没有出现，所以人工智能应用还不能被淘汰，只有少数掌握了人工智能应用的科学家才能创业。人工智能本身不是一个消费应用，人工智能创业不能带来自己的流量，但人工智能生产出来的仍然是企业应用，所以公司需要企业销售，需要了解人工智能解决方案，这是解决人工智能创业的黄金匹配。

人工智能的扩展必须经过以下三个阶段。在第一阶段，使用现有的大数据，使用蝙蝠，今天的头条新闻，快手，滴滴和美团都使用。此外，可以利用金融部门以及医疗保健。第二阶段是收集和上传数据。第三是无人驾驶和机器人时代的到来。这可能是未来五年、十年和十五年的蓝图。霍金刚才描述的未来是真实的。不确定的是人工智能是否会有意识、人类情感、控制人类、成为我们的工具、重复自我、重写自我等等。这些都是未知的，但众所周知，这些应用程序可以启动，这将产生巨大的结果，巨大的价值，并取代大量的工作。

在人工智能时代，经济发生了巨大的变化。我们应该为50%的下岗人员做些什么，我们应该为未来的教育做些什么，这些都是我们需要解决的问题。很容易解释一份工作是否可以被取代。大数据可以为目标函数做出决策。如果你比别人做出更好的决定，你会被取代。大多数工作都是这样的。人工智能现在不能做的包括艺术、人类学、管理者、决策者，甚至是最大的发明家。在人工智能时代的人才结构中，我们可以看到大量的服务型人才。在下一个层次上，有人会把人工智能作为一种工具；另一方面，他们是在每个领域发明新技术的大师；另一方面，他们是跨学科的工作者。当然，最好的是那些发明新的人工智能和控制人工智能的人。

霍金现场问答

创新工场首席执行官李开复:

互联网巨头拥有大量的数据，这些数据将为他们提供各种机会来交换用户的隐私和利益以获取巨额利润。在巨大利益的诱惑下，他们无法自律。此外，这种行为将使小公司和企业家更难创新。你经常谈论如何约束人工智能，但约束人们自己更难。你认为我们应该如何约束这些巨人？

霍金:据我所知，许多公司只使用这些数据进行统计分析，但是任何涉及私人信息的使用都应该被禁止。有助于隐私保护的是，如果互联网上的所有信息都是基于量子技术加密的，互联网公司在一定时间内将无法破解它。但是安全局会反对的。

猎豹移动首席执行官傅升:

灵魂会是量子存在的一种形式吗？或者这是另一场在高维空空间的表演？

霍金:我认为最近人工智能的发展，比如计算机在象棋和围棋中击败人脑，表明人脑和计算机之间没有本质的区别。在这方面，我与我的同事罗杰·卢彭斯截然相反。有人会认为计算机有灵魂吗？对我来说，灵魂这个词是一个基督教的概念，它与来世联系在一起。我认为这是一个童话。

百度总裁张亚勤:

人类观察和抽象世界的方式在不断演变，从早期的观察和估计，到牛顿定律和爱因斯坦方程，再到今天的数据驱动计算和人工智能。接下来是什么？

霍金:我们需要一种新的量子理论来整合重力和自然界的其他力量。许多人声称这是弦理论，但我对此表示怀疑。目前，唯一的猜测是时间空有十个维度。

张首晟，斯坦福大学物理学教授:

如果你告诉外星人我们取得的最高成就，你会在明信片背面写些什么？

霍金:告诉外星人关于美或者任何可能代表最高艺术成就的艺术形式是没有用的，因为它是人类独有的。我会告诉他们哥德尔不完全定理和费马大定理。这是外星人能理解的。

来源：搜狐微门户