您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
Google AI的ALBERT在多个NLP性能基准测试中名列前茅
2019年10月05日 由 TGS 发表
809014
0
谷歌人工智能（Google Ai）和芝加哥丰田技术研究所（Toyota technology institute of Chicago）的研究人员创建了一种人工智能模型ALBERT，它在主要的NLP性能排行榜上，GLUE和SQuAD 2.0等基准测试以及高RACE性能得分方面，均名列第一。在斯坦福问答数据集基准（SQUAD）上，ALBERT得分为92.2，在通用语言理解评估（GLUE）基准上，ALBERT得分为89.4，在通过英语考试获得的理解（RACE）基准上，ALBERT分数为89.4％。
ALBERT是基于BERT的转换衍生版本，根据OpenReview.net周三发表的一篇论文介绍，它可以“使用参数约简技术，来降低内存的消耗，提高BERT的训练速度”。据可靠消息，该论文将于2020年的4月份，与其他被接受发表的论文一起，在埃塞俄比亚亚的斯亚贝巴举行的国际学习表征会议上，供各国代表参考。
论文中写道，“我们提出的方法使模型的规模比原来好得多。此外，我们还使用了一种自我监督的模式，该模式侧重于对句子间的连贯性进行建模，并表明它始终有助于下游任务的多句输入。”
ALBERT是BERT的最新衍生品，在主要的基准测试中全都名列前茅。5月，微软的人工智能研究人员引入了多任务深度神经网络(MT-DNN)，该模型在9个GLUE基准测试中有7个取得了高分；7月底，Facebook的人工智能研究引入了RoBERTa模型，效果显著。
每个模型的性能都超过了人类的平均水平。在其他与变压器相关的新闻中，初创公司Hug Face的PyTorch库可以很方便地使用像BERT这样的主流变压器模型，Open AI的GPT-2和谷歌的XLNet通过长时间的研究，使该库可用于TensorFlow。该公司首席执行官克莱门特·德兰古告诉VentureBeat网站，自今年年初以来，PyTorch-Transformers已经安装了超过50万台Pip，实际效果令人非常满意。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
上一篇
AI构图领域的新进展
广告
广告
写评论取消
回复取消