通过16625篇论文分析AI演变史:深度学习时代即将结束?
2019年01月28日 由 浅浅 发表
389390
0
今天人们听到的关于AI的所有内容几乎都与深度学习有关。算法一类的工作原理是利用统计发现数据中的模式,它模仿人类技能无比强大,它甚至可以模仿我们推理的能力。这些功能为谷歌的搜索,Facebook的新闻源和Netflix的推荐引擎提供了动力,并且正在改变医疗保健和教育等行业。
虽然深度学习让AI进入了公众的视野,但这只是人类复制自己智慧的历史中的一小部分。某一方向只会在不到10年的时间里处于最前沿。但当你缩小整个领域的历史时,就很容易意识到它可能很快就会消失。
华盛顿大学计算机科学教授Pedro Domingos说,长期以来,不同技术的突然兴起已成为AI研究的特征。每隔十年,不同想法之间就会出现激烈的竞争。然后,每隔一段时间,一个开关就会打开,社区中的每个人都会聚到一个特定的集合上。
因此,麻省理工学院技术评论的研究人员转向了最大的科学论文开源数据库之一:arXiv。他们在2018年11月18日之前下载了“AI”部分提供的所有16625篇论文的摘要,并追踪了多年来提到的文字,看这个领域是如何演变的。
通过分析,发现了三个主要趋势:20世纪90年代末和21世纪初向机器学习转变,从2010年初开始神经网络的普及,以及过去几年强化学习的增长。
有几点需要注意。首先,arXiv的AI部分可以追溯到1993年,而AI这个术语可以追溯到20世纪50年代,所以数据库只代表该领域历史的最新章节。其次,每年添加到数据库中的论文代表了当时在该领域所做研究的一小部分。尽管如此,arXiv还是提供了一个很好的资源,可以收集一些较大的研究趋势,并看到不同的想法。
机器学习范例
最大转变是在21世纪初期从基于知识的系统的转变。这些计算机程序基于可以使用规则来编码所有人类知识的想法。取而代之的是,研究人员转向机器学习,这是包括深度学习在内的算法的父类别。
在提到的前100个词中,那些与基于知识的系统相关的词,如“逻辑”,“约束”和“规则” 大量减少。与机器学习相关的那些,如“数据”,“网络”和“性能”处于最高的增长点。
这次大变革的原因相当简单。在80年代,基于知识的系统积累了大量的追随者,这要归功于围绕着那些试图在机器内部重建常识的雄心勃勃的项目而产生的兴奋情绪。但随着这些项目的展开,研究人员遇到了一个重大问题:系统要做任何有用的事情,都需要对太多的规则进行编码。这提高了成本,大大减缓了正在进行的努力。
机器学习成为这个问题的答案。这种方法不要求人们手动编码成千上万的规则,而是编程机器从一堆数据中自动提取这些规则。于是该领域放弃了基于知识的系统,转向机器学习。
神经网络热潮
在新的机器学习范式下,向深度学习的转变并未立即发生。相反,正如对关键术语的分析所显示的那样,除了神经网络(深度学习的核心机制)之外,研究人员还测试了各种方法。一些其他流行的技术包括贝叶斯网络,支持向量机和进化算法,所有这些技术都采用不同的方法来查找数据中的模式。
在20世纪90年代和21世纪,所有这些方法之间处于稳定的竞争中。然后,在2012年,一个关键的突破导致了另一次变化。在旨在推动计算机视觉发展的年度ImageNet竞赛期间,一位名叫Geoffrey Hinton的研究人员和他在多伦多大学的同事们以超过10个百分点的惊人幅度,达到了图像识别的最佳准确度。
他使用的技术,即深度学习,引发了一波新的研究,首先是在视觉领域内,然后向外扩展。随着越来越多的研究人员开始使用它来取得令人印象深刻的结果,以及神经网络的普及,它越来越受欢迎。
强化学习兴起
在深度学习兴起后的几年里,分析表明,AI研究已经发生了第三次也是最后的转变。
除了机器学习中的不同技术外,还有三种不同的类型:监督,无监督和强化学习。监督学习是一种最常用的,也是迄今为止最实用的应用,它给机器标记数据提供数据。而在过去几年中,强化学习模仿了通过惩罚和奖励来训练动物的过程。
这个想法并不新鲜,但几十年来它并没有真正发挥作用。研究监督学习的人会取笑强化学习的人,”Domingos说。
关键的时刻发生在2015年10月,当时DeepMind的AlphaGo受到强化学习的训练,在游戏中击败了世界冠军。这对研究界的影响是立竿见影的。
未来十年
团队的分析仅提供了AI研究特征之间竞争的最新印象。但它说明了复制情报的追求变幻莫测。“关键是没有人知道如何解决这个问题,”Domingos表示。
过去25年中使用的许多技术起源于20世纪50年代,并且已经逐渐落后于之后每十年的挑战。例如,神经网络在60年代达到顶峰,在80年代短暂出现,但在通过深度学习重新获得地位之前几乎已经消失。
换句话说,每十年,我们基本上看到了不同技术的占据统治地位:20世纪50年代末和60年代的神经网络,70年代的各种象征性方法,80年代的知识型系统,90年代的贝叶斯网络,21世纪00年代的向量机,以及10年代的神经网络。
20世纪20年代也应该有所变化,这意味着深度学习的时代可能很快就会结束。但从特征上讲,研究界对于接下来会发生什么有一些竞争性的想法,如旧技术是否会重新获得青睐,或者该领域是否会创造一个全新的范例。