使用语言模型（LLM）进行分析、报告和规则生成等任务扩大了攻击和漏洞的潜在范围。

去年11月推出的ChatGPT在迅速受到用户和企业的采用。然而，没有人能否认这项新技术所带来的风险已对每个人造成了威胁。网络安全公司Group-IB最近的一份报告显示，超过10万个ChatGPT账户遭到了入侵，并且它们的数据在暗网上被非法交易，仅在印度就有12632个被盗凭据。



同样，在今年3月，一个开源库中的一个bug使得一些ChatGPT用户能够看到另一个活跃用户聊天记录中的标题。谷歌、三星和苹果等公司也禁止员工使用任何生成式人工智能驱动的机器人。

Indusface公司美洲区创始人兼总裁Venkatesh Sundar认为，人们在快速采用生成式人工智能时往往不太考虑风险。“在大多数情况下，采用的LLM模型是由其他人构建的，因此它们会带来LLM受损的安全风险，影响使用LLM模型的所有应用程序。 这与使用开源/第三方代码和插件的风险非常相似，”他告诉AIM。

生成式人工智能API的风险

API风险并不是新问题。正如Gartner在他们2019年的报告中预见的那样，API黑客确实已经成为一种普遍的网络攻击形式。根据API安全公司Salt Security的一项调查，在200名企业安全官员中，91%的公司在过去一年中报告了与API相关的安全问题。

现在，随着越来越多的企业试图利用LLM API，最大的担忧仍然是这些工具中敏感数据的泄露或曝光。虽然某些自然语言界面的应用，例如搜索功能，可能存在较低的安全风险，但是将LLM用于分析、报告和规则生成等任务则扩大了攻击和漏洞的潜在范围。

存在数据泄漏或未经授权访问这些信息的风险，可能导致隐私侵犯和数据泄露。“尽管人们非常关注生成式人工智能的使用和可用性，但勒索软件组织继续制造混乱，并成功侵入世界各地的组织，”Tenable公司的高级研究工程师Satnam Narang告诉AIM。

Sundar进一步强调，组织应该预见到攻击或试图破坏数据集的企图。黑客可能试图将恶意或有偏见的数据注入数据集中，影响LLM的回答和输出。“重要的业务决策可能依赖于这些数据，但对AI模型的工作方式或流程中使用的数据点的有效性并没有很好的了解，”BluSapphire Cyber Systems的创始人兼首席执行官Kiran Vangaveti告诉AIM。

今年早些时候，萨尔大学的研究人员在聊天机器人中展示了关于提示工程攻击的论文。他们发现了一种间接注入提示的方法，使用类似于Bing Chat和GitHub Copilot的“集成LLM”，从而扩大了黑客的攻击面。注入的提示可以收集用户信息并启用社交工程攻击。

内部构建GenAI能力是关键吗？

OpenAI和其他组织意识到解决API风险的重要性，并已经实施了预防措施。例如，OpenAI进行了第三方安全审计，保持SOC 2 Type 2合规性，并进行年度渗透测试，以在恶意个体利用之前发现和解决潜在的安全漏洞。

然而，Sundar认为安全非常复杂，而确保自然语言查询的安全性要更加复杂。“尽管正在构建访问等控制措施，但许多攻击利用不同的提示或一系列提示来泄露信息。例如，当ChatGPT阻止生成恶意软件的提示时，人们找到了绕过的方法，现在正在要求ChatGPT提供渗透测试的脚本，”他说。

Vangaveti同意，了解保护免受恶意使用或保护数据所需的安全框架是一项复杂的任务。然而，随着这个领域的成熟，会产生更多的框架或最佳做法。此外，当今企业也在探索许多开源的LLM作为替代方案。开源LLM可能由于其可用性和开放性而更容易受到网络攻击的威胁。由于源代码和架构是公开可访问的，攻击者更容易识别并利用漏洞。

尽管如此，Narang认为解决方案可能是在内部构建生成式人工智能能力。“只要依赖于外部工具来提供生成式人工智能功能，将数据交给第三方就会始终存在某种固有的风险，除非计划开发和维护内部能力。”有趣的是，三星宣布，在一些员工意外地与ChatGPT分享敏感数据后，他们将在内部建立自己的生成式人工智能能力。

ChatGPT正在编写恶意软件

不幸的是，ChatGPT的编码功能，包括编写代码和修复错误，已被恶意行为者利用来开发恶意软件。“攻击者能够相对迅速分析目标，并在几乎不需要专业知识的情况下动态创建攻击代码，他们能够快速构建定制恶意软件，”Vangaveti说。

一些专家认为ChatGPT和DALL-E对非API用户构成更大的风险。“诸如Raccoon、Vidar和Redline之类的信息窃取恶意软件能够窃取存储在Web浏览器中的敏感信息，包括用户凭据（用户名/电子邮件和密码）、会话cookie和浏览器历史记录，”Narang说。

此外，威胁检测公司HYAS的研究人员展示了一个名为BlackMamba的概念验证（PoC），并展示了如何在恶意软件中使用LLM API以逃避检测。“为了展示AI驱动的恶意软件的能力，我们构建了一个简单的PoC，利用大型语言模型来合成多态键盘记录功能，动态修改运行时的良性代码，所有这些都没有任何命令和控制基础设施来提供或验证恶意的键盘记录功能，”他们在一篇博客文章中说。

因此，毫无疑问，生成式人工智能的广泛采用引发了对安全风险的担忧，包括API漏洞和数据暴露，因此组织必须实施强大的安全措施，并保持警惕，以有效地减轻这些风险。

 

来源：https://analyticsindiamag.com/next-frontier-of-cybersecurity-guarding-against-generative-ai/