OpenAI表示其最新的GPT-4o模型存在“中等”风险

2024年08月09日 由 samoyed 发表 152 0

OpenAI 发布了其 GPT-4o 的研究文档,概述了该公司在发布其最新模型之前所采取的安全措施和风险评估。


GPT-4o 于今年 5 月正式公开发布。在亮相之前,OpenAI 使用了一个由外部红队(即试图在系统中找到弱点的安全专家)组成的团队,来发现模型中的关键风险(这是一种相当标准的做法)。他们研究了 GPT-4o 可能带来的风险,如未经授权地复制某人的声音、生成色情和暴力内容,或复制大段受版权保护的音频。现在,研究结果已经公布。


lp_logo_3.0


根据 OpenAI 自己的评估框架,研究人员发现 GPT-4o 的风险等级为“中等”。这一总体风险水平是基于四个总体类别中的最高风险评级得出的:网络安全、生物威胁、说服力和模型自主性。这四个类别中,除了说服力之外,其他均被评定为低风险。在说服力方面,研究人员发现 GPT-4o 生成的一些写作样本可能比人类撰写的文本更能影响读者的观点——尽管从整体上看,该模型的样本并不比人类撰写的文本更具说服力。


OpenAI 发言人 Lindsay McCallum Rémy 表示,系统卡片中包含了由内部团队创建的准备工作评估,以及 OpenAI 网站上列出的外部测试人员 Model Evaluation and Threat Research (METR) 和 Apollo Research 的评估结果,这两家机构均为 AI 系统构建评估。


这并非 OpenAI 发布的首份系统卡片;GPT-4、具有视觉功能的 GPT-4 以及 DALL-E 3 也都经过了类似的测试,并发布了研究结果。但 OpenAI 选择在这个关键时刻发布 GPT-4o 的系统卡片。该公司一直面临着来自自身员工和州参议员对其安全标准的不断批评。就在 GPT-4o 系统卡片发布前几分钟,The Verge 独家报道了参议员伊丽莎白·沃伦(D-MA)和众议员洛丽·特兰(D-MA)发出的一封公开信,要求 OpenAI 就其如何处理举报人和安全审查给出答复。该信列举了众多已被公开指出的安全问题,包括首席执行官萨姆·阿尔特曼(Sam Altman)因董事会担忧而于 2023 年短暂离职,以及一位安全主管的离职,该主管声称“安全文化和流程已经退居次要地位,让位于光鲜亮丽的产品”。


此外,该公司恰在美国总统大选前夕发布了一款功能强大的多模态模型。该模型存在明显的潜在风险,可能会被恶意行为者利用而意外传播错误信息或被劫持——即使OpenAI希望强调该公司正在测试现实世界场景以防止滥用。


许多人呼吁OpenAI更加透明,不仅要公开模型的训练数据(是否以YouTube为训练数据?),还要公开其安全测试。加利福尼亚州是OpenAI和许多其他领先的人工智能实验室的所在地,该州参议员斯科特·维纳 (Scott Wiener) 正努力通过一项法案来监管大型语言模型,包括如果其人工智能被用于有害方式,将追究公司法律责任的限制措施。如果该法案获得通过,OpenAI 的前沿模型在面向公众使用之前,将不得不遵守州政府规定的风险评估。但是,从GPT-4o系统卡中得出的最大结论是,尽管有一组外部红队和测试人员,但这一切在很大程度上仍依赖于OpenAI的自我评估。

文章来源:https://www.theverge.com/2024/8/8/24216193/openai-safety-assessment-gpt-4o
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消