近日，OpenAI停止了其人工智能分类器，这是一种旨在确定给定文本段落由另一种人工智能语言模型编写的可能性的工具。OpenAI在今年1月推出了它，并在7月20日悄悄地停止了它。然而，关闭分类器的时机令人好奇，因为OpenAI和其他公司一起自愿承诺在白宫的指导下，以道德和透明的方式开发人工智能。



这一承诺的一个方面是，开发可靠的水印和检测方法，以解决人工智能生成的垃圾邮件的问题，这些垃圾邮件在网络上的传播速度比鼹鼠还快。 然而，尽管这些公司做出了承诺，但迄今为止还没有可靠的水印或检测方法。 例如，谷歌已经宣布，它正在试验将元数据与其人工智能模型生成的图像一起添加水印，但他们还没有推出任何文本模型。

为什么OpenAI停止了其人工智能分类器？

OpenAI近日关闭了其人工智能分类器，这一决定是受到了对其“低准确率”的广泛批评的影响。虽然许多用户依赖该分类器来检测不劳而获行为，但它未能提供令人满意的结果。

然而，很多人指出，同时致力于识别人工智能生成内容和努力创建与人类行为密切相似的人工智能内容的确有讽刺之处。而现在OpenAI似乎已经揭开了面纱，完全专注于后者。

有人认为检测人工智能生成内容不会很有效，而且说实话，也不应该追求这种看似徒劳的事情。尤其是在人工智能生成图像创作的背景下，水印可以轻松地被移除，这对检测方法提出了挑战。有人幽默地建议，人工智能检测的最终目标可能是实现全球统治，类似于完美通过图灵测试。

OpenAI发布其分类器时，人们普遍认为人工智能生成的文本可能具有可靠检测的特征或模式。然而，在实践中，由于大型语言模型的快速发展，这已经成为一个具有挑战性的问题。各种语言模型之间的差异使得依赖特定识别特征变得困难。

自然语言处理的最新进展使得大型语言模型能够为各种任务生成类似人类的文本。然而，这种进展也带来了挑战，因为这些大型语言模型可能被滥用于抄袭、垃圾邮件和社会工程来操纵公众舆论。为了应对这一问题，需要高效的语言模型文本检测器来减轻公开可用语言模型的滥用。

无法检测

已经提出了各种使用水印、零样本方法、基于检索的方法和训练的基于神经网络的分类器的人工智能文本检测器。然而，一项研究论文表明，从理论上和实证上来看，当前最先进的检测器在实际场景中并不可靠。进行文本重述可以有效地规避这些检测器，使攻击者能够生成和传播未被检测到的错误信息。即使最好的检测器在足够先进的语言模型面前也只能略微胜过随机分类器。

该论文还证明，水印和基于检索的检测器可能被欺骗，从而将人类撰写的文本识别为人工智能生成的文本，这可能损害LLM检测器开发者的声誉。随着像GPT-4这样更先进的语言模型的发布，防止滥用的更安全的方法变得至关重要。

在OpenAI的分类器上进行的一项测试只正确识别了生成的文本片段的七分之一，而这个语言模型在测试时甚至不是最先进的。

尽管OpenAI在分类器工具中提供了限制和免责声明，但有些用户认为它的检测是表面上的。这导致了工具的滥用，因为人们会测试疑似由人工智能生成的内容，而没有意识到其不可靠性。

未来攻击者可能会利用一些潜在的漏洞，比如改进的改写模型或智能提示攻击。当前的检测器应该能可靠地标记人工智能生成的文本，同时避免过多的误报，以防止错误的抄袭指控并保护LLM开发者的声誉。

最近，Souradip Chakraborty的一项后续工作认为，人工智能文本检测几乎总是可能的，即使人类和人工智能生成的分布之间的总变化很小，但由于人类撰写的文本中存在相关性，这在实际应用中可能不成立。其他研究则表明，现有的语言模型输出与人类撰写的文本非常不同，但作者认为随着语言模型的进一步发展，攻击者逃避检测的能力可能会提高。

除了可靠性问题，该论文还提到检测器可能对非英语母语的作者存在潜在偏见。如果检测器在特定子群体中表现不佳，那么仅仅具有低平均I型和II型错误可能并不足以用于实际部署。

虽然这仍然是一项具有挑战性的任务，但这一领域的进展对于确保负责任和值得信赖地使用人工智能生成的文本至关重要。 此外，第一款真正可靠的水印或检测工具将在各种场景中具有无可替代的价值。

 

来源：https://analyticsindiamag.com/did-openai-purposely-discontinue-its-ai-classifier/