OpenAI开发了一个优秀的AI内容检测工具

2024年08月06日 由 samoyed 发表 140 0

ChatGPT背后的公司OpenAI开发了一款工具,可以判断一段文本是否为大型语言模型生成,但由于担心客户会给出负面反馈,因此它迟迟不愿发布这款工具。


这款检测工具涉及到文本水印技术——对ChatGPT选择单词的方式进行细微调整,这样一款了解水印的工具就可以以极高的准确度检测到这些变化。


a-computer-hooked-up-to-a-bunch-of-cables-the-word-h_xPT0FKQKmowR-e7cxcmw-JUohu4mBRd6LRpX4Ya5paw


据《华尔街日报》报道,发布这款检测工具“只需按下按钮即可”,但一项调查结果显示,如果ChatGPT在竞争对手的聊天机器人没有使用水印的情况下部署了水印技术,那么近30%的ChatGPT用户将减少使用这款人工智能工具。


为什么OpenAI没有发布ChatGPT检测工具?


根据OpenAI发言人的说法,“我们正在开发的文本水印方法在技术上很有前景,但我们在研究替代方案时也在权衡其重要风险,”她说。“鉴于所涉及的复杂性及其对OpenAI之外更广泛生态系统可能产生的影响,我们认为我们采取的审慎方法是必要的。”


该公司还在其网站上更新了一个页面,以详细阐述其部分理由。他们主要担心的一个事实是,水印可能会“对某些群体造成不成比例的影响”,特别是那些将AI作为写作工具的非英语母语使用者。


他们还详细说明了他们对水印容易被破解的担忧,指出“虽然水印在防止局部篡改(如改写)方面非常准确且有效,但它对全局篡改的抵抗力较弱;例如使用翻译系统、用另一个生成模型改写,或要求模型在每个单词之间插入一个特殊字符然后删除该字符——这使得恶意行为者可以轻而易举地绕过水印。”


在同一页面上,OpenAI还提到,他们的重点是开发用于检测视听内容的工具,因为在这个阶段,图像、音频和视频“被广泛认为对我们的模型能力构成了更高的风险水平”。


为什么有效的AI检测如此重要?


据《华尔街日报》报道,民主与技术中心最近进行的一项调查显示,59%的中学和高中教师确信有些学生会在作业中使用AI,而去年这一比例仅为42%,关于教育中AI的争论仍在继续。


其中一个问题是缺乏有效的AI检测工具——虽然市面上有很多这样的工具,但最熟练的工具都被锁在付费墙后面,而且这些工具也难免会出现误报和其他失败的情况。虽然有一些方法可以判断文本是否由AI撰写,但随着这些大型语言模型背后的技术变得更加复杂,检测将变得更加困难。


随着OpenAI内部人士越来越清楚地认识到水印方法不会影响ChatGPT的输出质量,内部对于扣留该工具的反对声音也在增加。《华尔街日报》看到的内部文件显示,参与测试该工具的员工表示:“既然我们已经知道水印不会降低输出质量,那么我们为没有文本水印进行辩护的能力就很弱了。”“如果没有这一点,我们就可能丧失作为负责任行为者的可信度,”最近一次关于AI检测问题的会议总结中这样说道。

文章来源:https://readwrite.com/openai-has-promising-tool-to-detect-ai-content-but-has-not-released-i/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消