杰夫·欣顿

本篇文章4133字，读完约10分钟

雷锋。(公开号码:雷锋。据介绍:本文作者、全球科学杂志社长、总编辑陈创办了《全球科学》、《计算机报》、《知识经济》等科技媒体。他是一个有影响力的媒体人、科学作家和媒体企业家。他对科学技术史、尖端技术、数字技术、互联网和人工智能感兴趣。他曾担任中国科学传媒股份有限公司总经理，天津董事长。中国科技新闻研究会副会长等。他还是中国科学技术协会第七届全国委员会成员。

本文是陈人工智能传奇系列的第三篇文章，该系列由《环球科学》授权出版。

发明个人电脑和互联网是人类的两个传奇。现在，人工智能正在成为我们自己创造的另一个传奇。正如蒸汽机开启了工业革命时代，人工智能也将人类社会带入新世纪。

正是杰弗里·辛顿等科学家在人工神经网络领域的不懈研究和探索，使得深度学习脱颖而出，创造了当今人工智能的奇迹。

2012年的一天，一个头发花白的陌生老人来到谷歌公司的实习生培训班。在这群年轻的实习生中，他很特别，不仅年纪很大，而且似乎一无所知。例如，培训老师说:“输入您的ldap(轻型目录数据库)用户登录代码。”老人会马上举手问:“什么是ldap？”培训班里的年轻人在想，“那个老家伙是谁？为什么他连ldap都不知道？”

直到有一天，有人在一家餐馆吃午饭时发现一位老人，立即走上前来，热情地说:“辛顿教授，我上了你的课。你在这里做什么？”实习生们非常惊讶，每天和他们坐在一起的老实习生是杰夫·辛顿，他是深度学习的教父，也是加拿大多伦多大学的计算机科学教授。

然而，韩丁当时在人工智能圈子里是众所周知的，但与今天的影响相比，却是大相径庭。现在，韩丁引领的深度学习技术潮流已经席卷全球，成为人工智能复兴的关键技术。杰夫·辛顿也成为了媒体追逐的技术巨星。

韩丁实际上参加了谷歌的实习培训，这是一个戏剧性的故事。谷歌大脑负责人杰夫·迪恩(Jeff Dean)邀请韩丁在谷歌工作，他本人也愿意在谷歌工作三个月，双方一拍即合。然而，谷歌有一些奇怪的规定，韩丁短期工作必须接受实习培训。就这样，在他60多岁的时候，他出现在了实习生团队中。

2013年春天，谷歌收购了多伦多的dnnresearch。这家深度神经网络研究公司成立于一年前，在连欣有三个人。收购后，韩丁自然成了谷歌的人工智能顾问。他惊讶地告诉其他人:“我以为他们对我们的知识产权感兴趣，但他们对我们感兴趣。”

是的，在人工智能领域雄心勃勃、勇于进取的谷歌，对“深度学习”的领导者辛顿很感兴趣。此次收购开启了高科技公司巨头深度学习人才之战的第一枪。后来，纽约大学计算机科学教授yann lecun和蒙特利尔大学教授yoshua bengio被facebook和微软聘用，他们曾在韩丁手下做过博士后工作。韩丁和这两位教授，被称为“加拿大黑手党的三个帮派”，在加拿大有着深厚的学术渊源，并成为深度学习的先驱。他们被高科技巨头公司所欺骗，这是深度学习人才战争的象征。随着越来越多的企业加入这场人工智能人才大战，人工智能在各行各业的深入应用正在加速。

人工神经网络的道路崎岖不平。当前的人工智能热潮与前两次有很大不同，不仅大量的研究人员流向企业，而且投资主体也从政府转移到了企业。回顾计算机和互联网走过的道路，它们都有一条相同的道路:从军事和科学研究领域到商业用途，再到大规模民用，以便在整个社会普及。今天的人工智能正在向全社会传播。这一切都与以韩丁为代表的一批深学领域的科学家在人工智能的寒冬里固执地坚持研究方向有很大关系。

杰夫·辛顿1947年出生于英国。他的家庭有深厚的学术渊源。他的曾祖父的岳父是乔治·布尔，他是符号逻辑领域的先驱，这是推动计算机诞生和发展的重要基础研究之一。“布尔代数”是以他的姓氏命名的。

韩丁很早就开始思考人脑。16岁时，一位同学向他介绍了记忆理论:大脑中对事物和概念的记忆不是储存在一个地方，而是像全息图一样分布在一个巨大的神经网络中。全息图、分布式、神经网络，这些概念深深地启发了他，并使他对神经网络产生了浓厚的兴趣。

很自然，他进入了剑桥大学的心理学专业，并于1970年毕业。1978年，他在爱丁堡大学获得了人工智能博士学位，爱丁堡大学是世界上最早的四个人工智能研究基地之一。博士毕业后，他在卡内基梅隆大学和其他大学学习，最后在加拿大多伦多大学任教。无论走到哪里，他的研究方向总是集中在人工神经网络上。他在神经网络领域漫长的学术生涯几乎与人工智能学科同龄。

人工神经网络是人工智能的一个重要研究领域。在人工智能研究领域，一直存在两大流派，一个是象征学派，被称为象征主义；另一个学派是联结主义，也称为联结主义。这两所学校都从人脑中获得了灵感，并开始了人工智能研究。符号学学派从人脑的推理功能出发，认为模拟人脑的逻辑推理思维，需要将相关信息抽象成符号，然后进行符号运算来实现推理功能。连接学派从人脑的组织出发，进行机器模拟。人脑中有大量被称为神经元的脑细胞。人们能够思考是因为这些神经元相互连接，并处理各种信息。同样，如果我们用一台机器来模拟神经元，并建立一个人工神经元连接网络，这个人工神经网络就可以思考。属于连接学派的人工神经网络就是这样被研究的。

正如人工智能领域的所有研究一样，人工神经网络的道路注定是不平坦的。

事实上，神经网络的概念早于人工智能，出现在20世纪40年代。人工智能的创始人之一马文·明斯基在1951年开发了一种基于神经网络的学习机器。正是这个神经网络系统，他在达特茅斯会议上提出来进行交流。1957年，康奈尔大学心理学教授弗兰克·罗森布拉特(frank rosenblatt)提出了“感知器”，这是第一次用算法精确定义神经网络，也是第一个具有自组织和自学习能力的数学模型。另一方面，这台电子感应机器在当时引起了轰动，因为它能阅读和识别简单的字母和图像，并吸引了无数关于人工智能的美丽遐想。

然而，那个时代的神经网络系统并不实用，马文·明斯基自己也严厉批评了感知器。人工神经网络的研究在人工智能的第一个寒冬迅速进入低潮。

在寒冷的冬天里坚持不懈杰夫·辛顿博士毕业后不久，人工智能就迎来了它的第二次高潮。他一直在神经网络领域努力工作，但他并没有感觉到好时机的到来，因为当时符号学派占了上风，而著名的专家系统和智能推理机都是象征主义的胜利。在人工智能的第二个冬天，所有的人工智能项目都受到了重创，神经网络也是如此。

人工神经网络的思想非常好，已经出现了大量的研究成果。然而，随着对人脑研究的深入，人们发现人脑的确是宇宙中最复杂的精灵，很难模仿人脑的人工神经网络系统。

保守估计，人脑有1000亿个神经元。人们经常把人脑比作电脑，但实际上每个神经元都是电脑。每个神经元都有许多与其他神经元相连的突触，突触的数量估计在100万亿到1000万亿之间。谷歌的大脑是最著名的人工神经网络系统。即使在今天，目标也只是实现大脑某一部分的功能。

由于人工神经网络的高度复杂性，这一研究方向一度被认为是学术上的死胡同。当人工智能第二次进入低谷时，许多同事开始研究其他领域，但韩丁等人仍然坚持在这里，因此他被视为一个不讲道理的怪人。当谈到神经网络时，人们鄙夷地看着他。尽管韩丁在人工神经网络领域取得了巨大成就，并于1998年当选为皇家学会院士，他还获得了许多其他荣誉，但他仍然无法扭转人们的偏见。长期以来，多伦多大学计算机科学系私下警告新生不要去辛顿的实验室。

韩丁不为所动，仍然坚持自己对神经网络的研究方向。据说他有一种特殊的方式来激励自己，他每周大叫一次:我发现了大脑是如何工作的！这种习惯已经保持了几十年。

在神经网络相关学术论文难以发表期间，他坚持撰写了200多篇研究论文，为后来的突破奠定了坚实的基础。研究经费成了他的大问题。但是每一次努力都有回报。2004年，韩丁最终获得了加拿大高等研究院(cifar)每年50万美元的资助，与日本第五代飞机等知名人工智能项目获得的巨额资金相比，这确实是一笔小数目。然而，在两个志趣相投的人乐坤和本吉奥的良好合作下，“神经计算与自适应感知”项目联合了一批计算机、生物、电子工程、神经科学、物理学和心理学的一流专家，探索一种利用神经网络模拟人脑智能的新方法。

深度学习的出现是一个重大突破。2006年7月28日，辛顿和他的学生在美国权威期刊《科学》上发表了一篇题为“用神经网络降低数据维数”的论文，该论文被认为是深度学习领域的开创性论文。本文介绍了神经网络的一些新思想和新方法，引起了人工智能和人工神经网络的关注。和基金支持者cifar一起，他们开始用一个术语“深度学习”来描述和包装新的想法和方法，这个术语出现在20年前，但是没有引起太多的注意。深度学习开始出现，并逐渐成为人工智能和神经网络最热门的研究方向。在某些情况下，深度学习甚至成为神经网络的同义词。

尽管深度学习在2006年后开始吸引注意力，但令人震惊的影响却发生在六年后的2012年imagenet图像识别大赛上。Imagenet是一项基于大型图像识别项目的权威竞赛，该项目由斯坦福大学华裔女科学家李菲菲和普林斯顿大学华裔教授李凯于2007年联合开发。这场比赛已经成为当年在图像识别领域有最高水平的人之间的比赛。

来自欣顿的两名学生在多伦多大学组成了一个小组，并通过深度学习获得了2012年图像分类竞赛的冠军。他们不仅识别了猴子，还区分了蜘蛛猴和吼猴，以及各种不同品种的猫。

一场比赛的冠军可能并不重要，但重要的是，辛顿团队使用了与其他参赛者完全不同的方法，并获得了颠覆性的结果。在比赛中，他们使用了深度学习的识别结果，准确率比东京第二大学高出10%以上，而第二至第四名学生使用传统的计算机图像识别方法进行分类，两者的准确率相差不超过1%。也就是说，使用深度学习，图像识别的精度提高了一个数量级。2012年10月，在意大利佛罗伦萨的研讨会上，竞赛组织者李菲菲宣布了这一压倒性的结果，这在计算机视觉领域引起了巨大的震动，并迅速蔓延到整个人工智能领域和行业。

自此，深学的热潮掀起，并一个接一个地迅速推进，不断进入一个又一个领域，并在连战中获胜。

待续…

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户