MIT开发语义解析器,使机器像儿童一样学习语言

2018年11月05日 由 浅浅 发表 791077 0
MIT开发语义解析器,使机器像儿童一样学习语言

儿童通过观察他们的环境,倾听他们周围的人,以及他们所看到和听到的点之间的联系来学习语言。这也有助于儿童建立语言中的单词顺序,例如主语和动词在句子中的位置。麻省理工学院的研究人员开发了一种“语义解析器”,通过观察学习模仿儿童的语言习得过程,这可以极大地扩展计算能力。

在计算中,学习语言是句法和语义解析器的任务。这些系统是在人类注释的句子上训练的,这些句子描述了词语背后的结构和意义。解析器对于网络搜索,自然语言数据库查询以及Alexa和Siri等语音识别系统变得越来越重要。很快,它们也可能用于家庭机器人。

但是收集注释数据对于不太常见的语言来说可能是耗时且困难的。此外,人类并不总是同意注释,注释本身可能无法准确反映人们自然说话的方式。

在本周的自然语言处理经验方法会议上发表的一篇论文中,麻省理工学院的研究人员描述了一种解析器,它通过观察学习更接近地模仿儿童的语言习得过程,这可以极大地扩展解析器的能力。为了学习语言的结构,解析器观察标题视频,没有其他信息,并将单词与记录的对象和动作相关联。给定一个新句子,然后解析器可以使用它所学习的语言结构来准确预测句子的意义,而无需视频。

这种“弱监督”方法意味着它需要有限的训练数据,模仿儿童如何观察周围的世界并学习语言,而无需任何人提供直接的背景。据研究人员称,这种方法可以扩展数据类型,减少训练解析器所需的工作量。例如,一些直接注释的句子可以与许多字幕视频结合使用,这些视频更容易获得,以提高性能。

将来,解析器可用于改善人与机器人之间的自然交互。例如,配备解析器的机器人可以不断地观察其环境,以加强其对口头命令的理解,包括当口语句子不完全语法或清楚时。“人们用部分句子,连续思想和混乱的语言互相交谈。你希望家中的机器人能够适应他们特定的说话方式,并且仍然能够弄清楚他们的意思,”计算机科学与人工智能实验室(CSAIL)研究员兼中心研究员Andrei Barbu表示。

解析器还可以帮助研究人员更好地了解幼儿如何学习语言。“孩子可以从不同的方式获取冗余的补充信息,包括听父母和兄弟姐妹谈论世界,以及触觉信息和视觉信息,帮助他们了解世界,”共同作者,首席研究科学家兼CSAIL InfoLab集团负责人Boris Katz表示,“这是一个惊人的难题,处理所有这些同时感官输入。这项工作是更大的一部分,以了解这种学习如何发生。”

视觉学习器


研究人员将语义解析器和计算机视觉组件结合在一起,分别训练对象、人类和视频中的活动识别。语义解析器通常在用代码注释的句子上训练,该代码将每个单词的含义和单词之间的关系归于一致。有些接受过静止图像或计算机模拟方面的训练。

Ross表示,新的解析器是第一个使用视频进行训练的解析器。在某种程度上,视频在减少歧义方面更有用。如果解析器不确定某个句子中的动作或对象,它可以引用视频来清除事物。“暂时的成分(物体相互作用,与人交互)以及高级属性在静态图像或语言中是看不到的。”

研究人员编制了一个大约400个视频的数据集,描述了人们的许多动作,包括拾取物体或将物体放下,然后走向物体等。众包平台Mechanical Turk的参与者随后为这些视频提供了1,200个字幕。他们留出了840个视频字幕示例用于训练和调优,并使用360个示例进行测试。Barbu说,使用基于视觉的解析的一个优点是,你不需要那么多的数据,尽管你有数据,你可以扩展到巨大的数据集。

在训练中,研究人员为解析器提供了确定句子是否准确描述给定视频的目标。他们为解析器提供了视频和匹配标题。解析器将标题的可能含义提取为逻辑数学表达式。例如,句子“女人正在捡苹果”可以表示为:λxy,女人x,捡x y,苹果y。

这些表达和视频被输入到由Barbu和其他研究人员开发的称为“Sentence Tracker”的计算机视觉算法中。该算法查看每个视频帧以跟踪对象和人如何随时间变换,以确定动作是否如所描述的那样播放。通过这种方式,它确定视频的含义是否正确。

连接点


具有对象,人类和动作的最紧密匹配表示的表达式成为标题的最可能含义。最初,表达式可以指代视频中的许多不同对象和动作,但是可能含义的集合用作训练信号,其帮助解析器持续地降低可能性。“通过假设所有句子必须遵循相同的规则,它们都来自同一种语言,并且看到许多标题视频,你可以进一步缩小其含义,”Barbu说。

简而言之,解析器通过被动观察来学习:为了确定视频的标题是否为真,解析器必然必须识别标题的最高概率含义。“判断视频句子是否属于视频的唯一方法是经过中间步骤,'句子是什么意思?' 否则,你不知道如何连接两者,我们不给系统赋予句子意义。我们说,'有一个句子和一个视频。句子必须适用于视频。找出一些使视频成为现实的中间表示。'”

训练为学习单词产生句法和语义语法。给定一个新句子,解析器不再需要视频,而是利用其语法和词汇来确定句子结构和含义。

最终,这个过程就好像孩子正在学习一样,Barbu说,“你看到周围的世界,听到人们说话,用这些方式来学习意义。有一天,我可以给你一个句子并询问它意味着什么,即使没有视觉信息,你也知道它的含义。”

“这项研究正是自然语言处理的正确方向,”布朗大学计算机科学教授Stefanie Tellex说,他专注于帮助机器人使用自然语言与人类进行交流。“为了解释扎根语言,我们需要语义表示,但在训练时将其提供是不切实际的。相反,这项工作使用标题视频中的上下文捕获组成结构的表示。这是我一直在等待的论文!”

在未来的工作中,研究人员将深入研究建模相互作用,而不仅仅是被动观察,Ross表示,“孩子们在学习时会与环境互动。我们的想法是建立一个也会使用感知来学习的模型。”
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消