OpenAI发布AI风险预备框架,应对先进模型潜在危险

2023年12月19日 由 daydream 发表 193 0

OpenAI宣布了其“预备框架”,这是一套流程和工具,用于监测和管理日益强大的AI模型可能带来的危险。


微信截图_20231219100859


在该实验室经历了涉及其首席执行官Sam Altman被解雇和重新聘用的争议后,该公告发布之际,实验室正处于动荡时期。这一争议引发了人们对实验室的治理和问责制度的质疑,特别是它正在开发世界上一些最先进、最具影响力的AI系统。


根据OpenAI的博客文章,预备框架试图至少解决其中一些问题,证明该实验室致力于负责任和道德的AI发展。该框架概述了OpenAI如何“跟踪、评估、预测和防范日益强大的模型带来的灾难性风险”,例如那些可用于网络攻击、大规模说服或自治武器的风险。


数据驱动的AI安全方法


框架的关键组成部分之一是对AI模型的风险"记分卡"的使用,这些记分卡衡量和跟踪潜在危害的各种指标,例如模型的能力、脆弱性和影响。这些记分卡定期更新,并在达到某些风险阈值时触发审查和干预。


微信截图_20231219104519


该框架还强调了对AI能力和风险进行严格和数据驱动的评估和预测的重要性,远离那些经常主导公共话语的假设性和投机性场景。OpenAI表示,它正在投资于此类评估的设计和执行,以及缓解策略和安全保障的开发。


该框架不是一个静态文件,而是一个动态发展的框架。根据OpenAI的说法,实验室表示它将基于新的数据、反馈和研究不断完善和更新框架,并将其发现和最佳实践分享给更广泛的AI社区。


与Anthropic政策的对比


OpenAI的公告是在其主要竞争对手Anthropic发布了几项专注于AI安全的重大发布之后提出的,该实验室是由前OpenAI研究员创立的另一家领先的AI实验室。Anthropic因其保密和选择性的方法而闻名,最近公布了其负责任扩展政策,一个定义具体AI安全级别和相应的AI模型开发和部署协议的框架。


这两个框架在结构和方法论上有显著差异。Anthropic的政策更为正式和规范,直接将安全措施与模型能力挂钩,并在无法证明安全的情况下暂停开发。OpenAI的框架更为灵活和适应性强,设定了触发审查的一般风险阈值,而非预设级别。


专家表示,这两种框架各有优点和缺点,但是Anthropic的方法在激励和执行安全标准方面可能具有优势。从我们的分析来看,Anthropic的政策将安全融入到开发过程中,而OpenAI的框架则更加松散和可酌情处理,留有更多人为判断和错误的空间。


一些观察者还认为,OpenAI在安全协议方面是在收到其如GPT-4等模型的快速和激进部署后面临反弹后才采取追赶。部分原因是Anthropic的政策具有优势,因为它是主动而非被动地开发出来的。


不管它们的差异如何,这两个框架都代表了AI安全领域的重要进步,该领域经常被追求AI能力所掩盖。随着AI模型变得更强大和普遍,领先实验室和利益相关方之间在安全技术上的合作和协调现在对于确保AI对人类的有益和道德使用至关重要。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

文章来源:https://venturebeat.com/ai/openai-announces-preparedness-framework-to-track-and-mitigate-ai-risks/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消