可以防止人工智能系统组件不匹配的描述符

2019年11月06日由 TGS 发表 119283 0

理论上人工智能为公共部门带来了巨大的希望，但在实践中，将人工智能组件集成到公共部门应用程序中，会受到这些组件的脆弱性与彼此之间不相匹配的限制。例如，如果机器学习模型不是针对操作环境中的数据进行训练的，那么组件的性能就会显著降低。

这一难题促使卡耐基梅隆大学的研究人员调查了人工智能系统集成中的配置，并确定了不同领域的从业人员(包括数据科学家、软件工程师和运营人员)所做的假设。他们想要找到新的方法来明确地传达适当的信息，与此同时，找到减轻“不匹配影响”的方法。

在生产中部署人工智能模型是一个艰巨的挑战。这是因为模型的开发和操作通常涉及三个不同的视角：数据科学家、软件工程师和操作人员。研究人员在论文中介绍了三种方法：

第一种方法：构建模型并对其进行培训，然后根据一组常见的度量标准对其进行测试；第二种方法：将经过培训的模型集成到一个更大的系统中；第三种方法：部署、操作和监视整个系统。

研究人员表示，这三种观点各自独立，并使用了不同的术语。因此，在模型测试期间使用的计算资源与在操作期间使用的计算资源并没有什么不同，但糟糕的是，监控工具通常不能用来检测模型精度下降以及系统故障，这会导致模型的性能低下。

为此，该团队提出了一个解决方案：机器可读的、启用了ml的系统元素描述符。描述符可以对属性进行编码，以便从上述所有角度做出明确的假设。也就是说，它们能够以一种手动的、监督的方式用于信息和评估目的，是一种AI系统中启用失配检测和预防的机制。

这种描述符构建方法由三个阶段组成。首先，通过与机器学习实践者的访谈，引出不匹配的例子及其后果，然后，从GitHub描述和文献中识别用于描述系统元素的属性。在最终的映射阶段，为每个不匹配确定一组属性——这些属性可以用于检测它们。

团队将从第一阶段开始与从业者接触，以验证研究成果，目标是达到90%的一致性。此外他们还将开发一个自动错配检测的演示，并创建可以检测错配的脚本——理想情况下，这个脚本可以对错配和属性之间的映射，以及根据该映射创建的描述符集进行验证。

标签：

行业人工智能

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇 IROS 2019——九号机器人挑战赛夺冠

下一篇利用AI分离歌曲中的人声和伴奏

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

Sam Altman离职事件时间线