简介神经网络与符号AI结合的方法
2020年01月16日 由 KING 发表
399163
0
最近的商业AI革命很大程度上是由深度神经网络驱动的。深度神经网络最早是在60年代发明的,一旦结合了互联网规模的数据集和分布式GPU场,便开始发展起来。
但是AI领域远不止一种算法。同样在60年代首创的诸如人工智能系统之类的符号推理算法也可能成为人们关注的焦点。
深度神经网络的弱点
深度神经网络在某些任务(例如图像识别和机器翻译)上做得非常出色。但是,对于许多更复杂的应用程序,传统的深度学习方法无法与混合架构系统的能力相提并论,而混合架构系统还需要利用其他AI技术,例如概率推理,种子本体和自我重编程能力。
深度神经网络本身缺乏强大的概括性,即发现新的规律并在训练集之外进行推断。深度神经网络对已知的信息进行插值和近似,所以它们无法真正意义上地具有人类的创造力。
这就是为什么需要大量训练集来教授深度神经网络的原因,也是为什么数据增强是如此重要的深度学习技术,需要人类指定已知的数据转换。如果不学习基础规律,就不能完美地完成插值,这是众所周知的针对深度神经网络的对抗性攻击证明了这一点。
结合神经和符号AI方法的优势
有趣的是,在大多数情况下,深度神经网络的缺点是符号系统的优势(反之亦然),它们固有地具有组成性、可解释性,并且可以展现出真正的概括性。与神经网络相比,先验知识也可以轻松地整合到符号系统中。
神经网络架构在某些类型的学习,建模和动作方面非常强大,但抽象能力却有限。这就是为什么将它们与我们太阳系的托勒密行星周期模型进行比较的原因,它们可以变得越来越精确,但是为此需要越来越多的参数和数据,而且它们本身无法发现开普勒定律并将其纳入知识库,并据此进一步推论牛顿定律。
符号AI在处理和建模抽象方面功能强大,但处理大量经验数据流的能力很差。
这就是为什么我们认为,神经和符号AI系统的深度集成是在现代计算机硬件上实现人类级AGI的最可行途径。
有鉴于此,许多最近的“深度神经网络”成功实际上是混合架构,例如Google DeepMind的阿尔法狗架构将两个神经网络与一个游戏树集成在一起。他们最近的MuZero架构既可以玩棋盘游戏,又可以玩Atari游戏,使用深度神经网络以及规划好的学习模型,可以进一步走这条路。
清华大学非常成功的ERNIE自然语言处理问答体系结构将知识图谱集成到了神经网络中。这些特定体系结构的象征性方面相对简单,但是可以将它们视为指向更复杂的神经符号混合系统的方向。
思科在神经符号方面的成功
神经方法和符号方法的集成在很大程度上取决于AI在过去20年中最深刻的革命-概率方法的兴起:例如神经生成模型、贝叶斯推理技术、分布算法估计、概率编程。
作为概率神经符号方法新兴实际应用的一个例子, 在去年8月于深圳举行的2019年人工智能(AGI)大会上,思科系统公司的Hugo Latapie描述了他的团队与我们SingularityNET基金会的AI团队合作所做的工作,使用OpenCog AGI引擎和深度神经网络来分析街道场景。
OpenCog框架提供了一个神经符号框架,该框架在符号方面特别丰富,并且可以与流行的深度神经网络框架互操作。它具有概率逻辑网络(PLN),概率进化程序学习(MOSES)和概率生成神经网络的组合。
Latapie演示的交通分析系统在用于街景摄像头的深度神经模型之上部署了基于OpenCog的符号推理,从而实现了诸如语义异常检测(标志冲突,人行横道以及其他与期望的偏离),针对新摄像头的无监督场景标记等功能以及单次转移学习(例如,通过一个示例了解公交车站的新信号)。
在这种情况下,纯深层神经网络方法与神经系统符号方法之间的区别非常明显。借助以直接方式部署的深度神经网络,每个神经网络都可以对单个摄像机所看到的内容进行建模。要对给定路口发生的事情形成整体看法,更不用说在整个城市范围内了,这是一个更大的挑战。在神经符号体系结构中,符号层提供了共享的本体,因此所有摄像机都可以连接到集成的流量管理系统。如果需要以既不会遇到也不会引起大量交通的方式来运送救护车,那么这种对整个场景的符号理解正是人们所需要的。
相同的体系结构可以应用于许多其他相关用例,其中人们可以使用神经符号AI来丰富本地情报,并将多个源/位置连接到整体视图中以进行推理和采取行动。
使用更复杂的深度神经网络架构来解决这个特定问题可能并非不可能,其中多个神经网络以微妙的方式协同工作。但是,这是使用神经符号方法更容易且更直接解决问题的示例。它非常接近机器视觉,这是深度神经网络的强大优势之一。
在其他更抽象的应用领域中,例如数学定理证明或生物医学发现,神经符号混合体的符号面的临界值甚至更为显着。
在过去的几年中,深度神经网络取得了令人瞩目的成就,使应用AI达到了一个全新的水平。我们猜测,令人难以置信的AI成就的下一阶段将通过混合AI架构(例如神经符号系统)实现。这种趋势已经在2019年以相对安静的方式开始,并且我们预计在2020年它将大大加快速度。