斯坦福开发新AI框架，防止机器行为异常

2019年11月26日由 KING 发表 157329 0

马萨诸塞州大学阿默斯特分校和斯坦福大学的研究人员声称他们已经开发了一种算法框架，可以确保AI不会出现不良行为。该框架使用的是“ Seldonian”算法，该算法以艾萨克·阿西莫夫（Isaac Asimov）的“基地”（Foundation）系列小说的主角命名。

根据团队的研究，Seldonian体系结构允许开发人员自定义操作条件，以防止系统在训练或优化时超过某些阈值。换句话说，它允许开发人员阻止AI系统歧视或伤害人类。深度学习系统的应用已经非常广泛，从面部识别到股市预测，它都可以提供技术支持。在大多数情况下，例如图像识别，只要机器是正确的，机器如何得出结论的过程并不重要。如果AI能够以90％的准确率识别猫，那么我们可能会认为它成功了。但是，当涉及到更重要的事情时，例如使药物剂量自动化的AI，几乎没有误差的余地。

为此，研究人员使用他们的Seldonian算法框架创建了一个AI系统，该系统可以监视和分配糖尿病患者中的胰岛素，以及预测学生的GPA（平均学分绩点）。在前者中，研究人员建立了Seldonian框架，以确保该系统在学习优化剂量时不会使患者病情加重。在后者中，他们想要一次来防止性别偏见。

这两个实验都证明是有效的，并且据研究人员称，这已成功证明Seldonian算法可以抑制不良行为。当前的AI开发模板将消除偏见的负担施加在了最终用户身上。Seldonian框架应减轻最终用户的负担，并将其放在开发者身上。通过适当的缓解算法（例如，告诉机器“无种族偏见”的信息），可以消除有害偏见的可能性，同时仍允许软件运行。

这是数学角度上来说是行得通的。研究人员演示了几种简单的算法，这些算法用机器可以理解的术语表达不需要的行为。因此，Seldonian算法没有告诉机器“不要让性别偏见影响您的GPA预测”，而是更准确地预测每个人的GPA，但不要让预测的GPA与实际GPA之间的差异超过某个问题。考虑性别的门槛。”

研究人员希望，随着团队的进一步发展，该框架可以做的事情不仅仅是彻底改革当前的AI技术。使用此框架设计的算法不仅是现有应用中ML算法的替代品，而且能够为新应用铺平道路。

标签：

行业深度学习 AI偏见

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇麻省理工学院的人工智能艺术装置

下一篇在朝鲜，拥有智能手机是怎样一种体验？

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

Sam Altman离职事件时间线