近年来，由于机器学习的进步和可供学习的数据量的增加，人工智能取得了巨大的进展。LLM及其衍生物，例如OpenAI的ChatGPT和Google的BERT，它们现在生成的内容越来越接近人类的创作。因此，LLM已成为创建高质量、合适和连贯文本的流行工具，它的用途涵盖了从撰写社交媒体帖子到起草学术论文的各种领域。



尽管LLM有着广泛的用途，但是，与此同时，它也面临着越来越多的审视。批评者，特别是教育工作者和原创内容创作者，将LLM视为剽窃、作弊、欺骗和操纵社会工程的手段。

作为对这些问题的回应，研究人员开发了新的方法来帮助使用者区分人类的作品和机器生成的文本。希望这种识别自动化内容的能力可以限制LLM的滥用并减轻它的负面影响。

但是，马里兰大学（University of Maryland）计算机科学家正在探究一个重要问题：这些检测器是否能够准确地识别出由人工智能生成的内容？

至少现在还不能

马里兰大学计算机科学助理教授Soheil Feizi表示：“目前的人工智能检测器在实际应用中不可靠，存在许多缺点。例如，如果我们可以使用改写器，那么即使是最好的检测器的准确度也会从100%下降到硬币投掷的随机性（即50%）。如果只是改写由LLM生成的内容，我们通常可以瞒过一系列检测技术。”

在最近的一篇论文中，Feizi描述了两种影响人工智能文本检测器可靠性的错误类型：第一类错误（将人类文本检测为人工智能生成）和第二类错误（没检测出由人工智能生成的文本）。

Feizi解释说：“使用一个目前相当常见的在线工具——改写器，会导致第二类错误。我近期还看到一个在网络上广泛传播的例子，是第一类错误。有人使用人工智能检测软件检测美国宪法，结果被标记为人工智能生成，这显然是非常错误的。”

Feizi称，人工智能检测器所犯的这种错误可能会非常有害，当教育工作者或出版商指责学生和其他内容创作者使用人工智能时，他们往往很难自证清白。如果这样的指控被证明是错误的，负责开发有缺陷的人工智能检测器的公司和个人也可能遭受声誉损失。

此外，即使通过水印技术保护的LLM也存在虚假攻击的漏洞，敌对的人可以推断出隐藏的水印并将其添加到非人工智能文本中，从而检测出其为人工智能生成。在出现错误的结果之后，声誉和知识产权可能受到不可逆转的危害，这也是Feizi呼吁人们在依靠人工智能检测器来验证人类创造的内容时要谨慎的主要原因。

Feizi说：“假设你被给定一句随机的句子，理论上，你永远不能肯定地说这句话是由人类还是某种人工智能编写的，因为这两种类型的内容非常接近。特别是当你考虑到像改写器或虚假攻击这样的LLM和LLM攻击者变得越来越复杂时，这一点尤其正确。”

他补充道：“因为这些变量，人类和人工智能编写的文本之间的界限变得更加模糊。我们的检测器有根本限制，因此很难开发出能准确地识别出人工智能生成内容的检测器。”

更多的数据可能带来更好的检测结果

马里兰大学计算机科学助理教授Furong Huang对人工智能检测的未来持更乐观的看法。

尽管她同意她的同事Feizi的看法，即当前的检测器不完善，但Furong Huang认为只要有足够的人类创建内容的例子可用，就有可能识别出人工智能生成内容。换句话说，在进行人工智能分析时，拥有越多的数据结果越好。

Furong Huang解释说：“LLM是在大量文本上进行训练的。我们提供的信息越多，它们的输出就越好，也越像人类。” 她继续解释道：“如果我们对检测器采取同样的策略，即提供更多的样本进行学习，那么检测器也会变得更加复杂，它们将更擅长发现人工智能生成的文本。”

Huang最近的一篇论文探讨了设计优秀的人工智能检测器的可能性，以及需要多少数据才能改进其检测能力。

“从数学上讲，我们总是能够收集更多的数据和样本供检测器学习，”论文的合著者、马里兰大学计算机科学博士研究生Souradip Chakraborty说道。他补充说：“例如，在像 Twitter 这样的社交媒体平台上有许多机器人。如果我们收集更多机器人和他们的数据，我们将更好地识别平台上人工智能生成的垃圾邮件和人类发布的内容。”

Huang的团队建议检测器应该采用更全面的方法，扩大使用的样本范围，来尝试识别这种人工智能生成的“垃圾邮件”。

“我们建议使用整个段落或文档来进行识别，而不是仅关注单个短语或句子，” 马里兰州机器人中心的研究科学家Amrit Singh Bedi补充道。“多句分析能够提高人工智能检测的准确性，因为系统可以从更多的信息中学习，而不仅仅是一个单独的句子。”

Huang的团队还认为，人类种群内在的多样性使得LLM难以创建类似于人类生成文本的内容。人类独特的语法模式和词汇选择等特征可以有助于识别是否为人类编写的文本。

Huang表示：“这将是生成式人工智能和检测器之间持续的军备竞赛。但我们希望，这种动态的关系可以推动LLM和检测器的发展。”

人工智能和人工智能检测的下一步是什么

尽管Feizi和Huang对LLM检测技术的未来有不同的观点，但他们分享了一些重要的结论，并希望公众在未来考虑这些结论。

Feizi说：“有一件事情是肯定的——禁止LLM和ChatGPT这样的应用程序不是答案。我们必须接受这些工具现在存在着，并且它们会继续存在的事实。例如，在教育领域这些工具有很大的潜力，我们应该将这些工具合理地整合到系统中，以便它们发挥好的作用。”

Feizi在他的研究中建议，用于对抗生成式LLM的安全方法，包括检测器，不需要100%万无一失，只需使攻击者更难以攻破，并且从关闭研究人员已知的漏洞开始。Huang也同意这一观点。

“如果检测器在某个时候犯了一个错误，我们不能就此放弃，”Huang说。“必须积极努力保护公众免受LLM滥用造成的后果的危害，特别是那些认为自己是少数群体并已经在生活中遭受社会偏见的人员。”

两位研究人员认为，在未来，多模态（将文本与图像、视频和其他形式的媒体结合使用）也将是改进人工智能检测的关键。Feizi援引了已经使用的二次验证工具的例子，例如验证社交媒体账户绑定的电话号码或观察内容提交中的行为模式，作为防止错误人工智能检测和偏见的附加保障。

“我们希望鼓励有关生成式LLM伦理和可信应用的开放和公开讨论，”Feizi说。“我们可以利用这些人工智能工具，改善我们的社会，特别是在学生学习或防止误导信息传播方面。”

随着人工智能生成的文本越来越普及，像Feizi和Huang这样的研究人员认识到，在公众如何对待LLM和类似形式的人工智能方面，采取更积极的立场是很重要的。

“我们必须从上而下开始，”Huang说。“利益相关者需要开始讨论这些LLM，并与政策制定者讨论通过监管设立基本规则。在像我们这样的研究人员开发更好的检测器、水印或其他处理人工智能滥用的方法的同时，必须监督LLM的进展。”

 

来源：https://techxplore.com/news/2023-05-ai-generated-content.html