本篇文章4396字,读完约11分钟
雷锋。(公开号码:雷锋。com)出版社:陈,本文作者,《计算机报》创始人;《全球科学》杂志创始人,现任总裁兼总编辑;中国科技新闻研究会副会长。他致力于计算机发展史的研究,他的《计算机的十年》、《计算机的第二个十年》、《辉煌的软件》和《计算机病毒的方方面面》等文章影响很大。
本文是陈人工智能传奇系列的第四篇文章。
发明个人电脑和互联网是人类的两个传奇。现在,人工智能正在成为我们自己创造的另一个传奇。正如蒸汽机开启了工业革命时代,人工智能也将人类社会带入新世纪。
渊博的知识就像一只鹰,飞得高需要强壮的翅膀。有了这两个翅膀,两个中国人发挥了巨大的作用。
好的算法不仅能在深度学习中取得成功,而且很快成为主宰人工智能的最热门技术。除了在思想和算法上的重大突破之外,计算环境和信息环境在它诞生的时候也发生了巨大的变化。
深度学习是机器学习领域的一个分支学科。机器学习的思想是让计算机自动学习相关知识并解决实际问题。实现机器学习的方法有很多,而属于神经网络的深度学习是其中一种重要的方法。
机器学习和神经网络不是新事物。虽然深度学习严格来说不是新事物,但当它在2006年被韩丁重新打包并推出时,出现了许多创造性的新思想和算法,这使得机器学习变得全新。然而,人工智能的历史告诉我们,不仅好的算法可以成功。
例如,深度学习通过统计方法巧妙地处理深度神经网络数据的权重,并以较高的概率组合数据,大大降低了数据的维数,即降低了复杂度。由于这一关键技术,韩丁把自己构建的深层神经网络称为深层信任网络。尽管维数相对降低,但计算量仍然惊人。
神经网络模仿人脑,用学习的方法获取准确的知识,并用它来解决问题。人工神经网络发展为多层神经网络,在输入层和输出层之间增加一个隐层,隐层可以不断增加。赢得2015年imagenet图像识别大赛的微软resnet系统是一个152层的深层神经网络。
正如人类学习可以分为有教师的学习和无教师的学习一样,机器学习也可以分为有监督的学习和无监督的学习。监督学习必须使用标记数据,而非监督学习不需要标记数据。
神经网络本质上是一个数据驱动的模型,它需要为机器学习提供数据,然后根据学习结果调整和优化模型中的参数,使模型收敛,即达到预期的学习效果。这个过程叫做训练。
在神经网络系统的开发中,通常需要三个数据集,即训练集、工作集和测试集。训练集越大,训练效果越好,即学习效果越好。
如果神经网络系统中的训练数据太少,就会出现“过拟合”。这个专业术语意味着学习结果过于具体而无法推广。虽然学习结果可以广泛应用,但它被称为“泛化”。正如人类的学习因为掌握了大量的知识而可以从别人那里得出推论一样,机器学习也需要大量的数据。形象地说,机器学习需要将大量数据“输入”机器。反馈的数据越多,质量越好,学习效果越好。
韩丁想到了许多方法来减少对监督学习的需求,因为这意味着减少工作量和提高训练速度。他的创新想法是将无监督学习和有监督学习结合起来。让机器自主学习,即自动处理未标记的数据并逐层进行预训练。最后一个阶段是监督学习,即使用标记数据进行训练。这大大提高了训练速度。韩丁形象地说:“想象一下孩子。当他们学会识别奶牛时,他们不需要看到数百万张标有“奶牛”的母亲的照片。他们只是学习奶牛的样子,然后问,“这是什么?”母亲会说,“这是一头牛。”他们学会了。"
这是一个深度学习的聪明学习过程,但即使有了这些发明,只有当计算能力大大增强,海量数据出现时,深度学习才能充分发挥作用。
Gpu诞生:疯狂冒险家黄仁勋被人工智能专家、日本人工智能学会伦理委员会成员宋伟峰称为人工智能领域的重大突破和深度学习的飞跃。像鹰一样,飞得高需要强壮的翅膀。有了这两个翅膀,两个中国人发挥了巨大的作用,他们分别提供了gpu强大的计算能力和imagenet大数据集。
黄仁勋,gpu制造商NVIDIA的首席执行官,1963年出生于台北,1984年毕业于俄勒冈大学电子工程硕士和斯坦福大学。
中国人工智能专家、格林深眼公司(Gling Deep Eye Company)首席执行官赵勇博士评论道:有人说深度学习已经完成了NVIDIA的gpu,但实际上是gpu完成了深度学习。
他坚持认为,没有英伟达的统一计算设备架构(cuda)平台,科学界证明深度学习的巨大潜力的时间不会被推迟。更值得称道的是,gpu技术大大降低了pc机上高密度、高性能计算的成本,使深度学习技术在科技界迅速发展和普及。
赵勇博士过于绝对和中立,他说深度学习和gpu是相辅相成的,而深度学习凭借gpu强大的并行计算处理能力迅速展示了其工程可行性和广阔的应用前景,而gpu同时也有了很大的发展,因为深度学习开辟了新的人工智能应用市场。
Gpu是由黄仁勋创立的英伟达公司发起的。
许多人想知道硅谷的这个游戏图形公司是如何突然在深度学习中发挥重要作用的。这实际上是硅谷的中国人黄仁勋的励志故事。自1993年创立芯片设计公司英伟达(NVIDIA)以来,他一直在领先芯片公司英特尔(Intel)的差距下苦苦发展。1999年,英伟达推出了革命性的图形芯片geforce256,从而发明了图形处理器这个词。然而,主要用于游戏显卡的gpu被认为是个人电脑行业的附属市场,其前景并不广阔。工程师黄仁勋是一个疯狂的冒险家,他喜欢在实验室与研究人员讨论前沿进展,并相信技术可以改变一切。因此,当英伟达(Nvidia)首席科学家大卫柯克(david kirk)提议开发高性能通用图形处理器(general gpu)时,他立即坚定地支持并信任这位引领全球最畅销独立显卡开发的科学家。
如今,使用高性能通用gpu让个人拥有数百美元的廉价超级计算机并支持大规模并行计算是一个很好的想法。然而,大约在2007年,英伟达的情况非常糟糕,其股价从最高的37美元跌至6美元。此外,科克设想的强大gpu计算平台的市场需求是什么?
在这样的背景下,黄仁勋在2007年推出了基于cuda的gpubeta版本的通用gpu。自那以后,公司的所有图形处理器都支持这种架构,吸引了使用各种编程语言的工程师使用英伟达图形处理器进行开发,从而增强了图形处理器的开放性和多功能性。
有一个转折点。由于传统的cpu在设计中很少关注并行计算,而gpu从一开始就考虑在底层设计中支持单指令多数据,因此gpu在大规模并行计算中的强大能力远远高于cpu。就处理速度而言,2010年,nvidia 480 gpu芯片已经达到每秒1.3万亿次浮点运算。到2015年,泰坦x将达到6.1万亿元。许多专家将图形处理器与中央处理器进行了比较,认为前者在执行特定任务时比后者快100到300倍。
深度学习所涉及的计算只是具体的,它主要执行高速和大规模的矩阵运算。在这种应用场景中,计算能力强、价格低的gpu是最佳选择。辛顿的实验室购买了许多gpu设备,其他神经网络实验室也是如此。随着深度学习的巨大成功,几乎是标准的gpu同步也得到了极大的发展。
2016年,NVIDIA因其人工智能远见而成为芯片行业最大的赢家,其股价翻了一番多。在2017年的消费电子展上,更令人惊讶的是英伟达可能很快超越英特尔。这些谣言的背后是对gpu未来的想象和用于深度学习的特殊芯片。
韩丁和深学成功了,黄仁勋和英威达也成功了。
Imagenet创始人:费飞李菲菲,斯坦福大学人工智能实验室主任,是三郎太李菲菲拼命创建imagenet的人,是硅谷另一个离不开深度学习的中国传奇人物。
李菲菲1976年出生于北京,16岁时随父母去了美国。当她第一次到达美国时,那是非常困难的。她父亲修理别人的照相机,她母亲当出纳员。她去上学,在中国餐馆工作。在这种情况下,自称是三郎太的李菲菲被普林斯顿大学物理系录取了。
1999年大学毕业后,她放弃了华尔街10万美元的年薪,选择在西藏学习一年藏医。然后,带着新的生活感受,她去了加州理工学院电子工程系攻读人工智能博士学位。当她进入学校时,是人工智能的低潮期。这时,我母亲患了中风和癌症,许多学习、科学研究和生活的重担落在了李菲菲身上。“如果我再做一次,我想我活不下去了。”她事后对人们说了这些。
然而,李菲菲,一个中国女人,有一颗无比坚强的心来支持她度过难关。然后,她创造了一系列的学术奇迹。从加州理工学院到斯坦福大学,她已经发表了100多篇人工智能学术论文。33岁时,她获得了斯坦福大学教授的终身职位,并成为该大学人工智能实验室的主任。
真正让李菲菲闻名于世的是她创建的imagenet。正如我们在第三次看到的,正是因为这个图像大数据平台,对To glory进行了深入的研究。
自2007年以来,imagenet已经下载了近10亿张图片。这是一个巨大的数据集,给这些数据贴标签非常复杂。李菲菲在亚马逊的机械土耳其平台上巧妙地用互联网众包模式标记图片。在鼎盛时期,imagenet是亚马逊土耳其机器人平台上最大的雇主之一,来自167个国家的近5万人通过众包、筛选、分类和标记近10亿张照片的方式进行合作。
李菲菲回忆说,现在回想起来,用大数据训练计算机算法的重要性是显而易见的。在这个旅程中,她感到孤独,她的研究经费总是有麻烦。
2009年,imagenet终于诞生了。这是一个有1500万张标记图片和22000种物品的数据库。有超过62,000只不同外貌和姿势的家猫和野猫。这是一个在质量和数量上衡量空之前的数据库。只有在互联网时代,诸如深度学习等杰出的创造才能被大数据升华。
大数据的力量很快显现出来。imagenet的大数据集是开源的,它已经成为测试各种人工智能算法的最权威的平台,也是评估人工智能科研机构和技术公司人工智能实力的最佳舞台,自然成为全球科技界和媒体关注的焦点。
有趣的是,深度学习和imagenet是相辅相成的。在2012年的imagenet图像识别竞赛中,要求计算机学习1000万幅图像,然后用15万幅图像进行测试,以测试各种算法的识别精度(实际错误率)。在这样一个大数据竞争环境中,深度学习大放异彩。对时尚最不感兴趣的李菲菲也成为了世界闻名的硅谷科技明星。2016年11月,李菲菲加入谷歌,负责谷歌云。这位总能面对挑战的女科学家已经开始了她的新旅程。
看到大数据在深度学习成功中的关键作用,松尾感慨地说:如果互联网页面的出现可以早于15年,或许今天硅谷的桂冠应该戴在日本的头上。他仍然为日本的第五代机器感到遗憾,认为如果有像互联网带来的大数据这样的信息环境,第五代机器可能会成功。日本专家的分析可能有失偏颇,但它也反映出大数据对于深度学习是不可或缺的。
好风,带着它的力量,把我送到了青云。凭借gpu和大数据强大的翅膀,深度学习将一飞冲天。
雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。
来源:搜狐微门户
标题:助飞的双翼
地址:http://www.shwmhw.com/shxw/60342.html