Allen研究所的人工智能系统通过了八年级考试
2019年09月06日 由 KING 发表
189999
0
本周,Allen人工智能研究所宣布了一项技术突破,名为Aristo的人工智能系统通过了八年级的科学测试。
Aristo系统可以阅读、学习和推理,还可以模拟学生的决策行为。Aristo在八年级的科学考试中准确回答了90%以上的问题,在高中二年级的考试中答题准确率为83%。
研究人员在最近发表的一篇论文中说:“Aristo的学习能力非常出色,在短短三年内,就把答题的准确率从60%提升到90%。尽管Aristo的试卷中只有多项选择题,而且题目大多是集中于自然科学领域,但它代表着人工智能技术发展的一个重要里程碑。Aristo系统集自然语言处理、信息提取、逻辑推理、图表理解技术于一体,把人工智能技术推到了一个新的高度。对于自然语言处理技术,研发团队利用了bert模型。该团队表示:“Aristo在解答题目的时候使用三种方法来使bert模型的利用率达到最大化。首先,我们使用bert模型检索题目并提供相关的背景知识,虽然它把背景知识传递给Aristo的过程更复杂,也更难解释,但是这依然为Aristo成功的理解题目提供了可能性,其次,我们使用一些数据集(包括一些与科学无关的数据集)对bert进行微调。最后,我们将bert检索到的同类型问题集成在一起”。
为了训练bert模型,团队使用了基于谷歌云的NVIDIA P100 GPU、Beaker研究平台,以及AllenNLP研究库。AllenNLP是一个基于pytorch的开源框架,用于开发针对各种语言任务的最先进的深度学习模型。这些系统经过培训,将相关背景知识应用到问题中,并使用小型培训课程来提高其性能。对于一些需要更大内存的实验,团队依赖于由NVIDIA Quadro RTX 8000 GPU驱动的内部服务器。Allen的研究人员说:“它们的高性能表现反映了NLP领域作为一个整体所取得的快速进展”。
为了帮助完善bert模型,Allen研究所的团队发布了一些数据集及其相应的排行榜,鼓励其他开发人员尝试在此工作的基础上进行开发。
该团队指出,虽然Aristo能够解答多项选择题,并能对浅显的简答题做出简短或冗长的回答,但这只是朝着一个能够深入理解科学的系统迈出的一步,未来的研究工作仍然任重而道远。