大型语言模型（LLMs）和生成式人工智能（AI）的快速崛起给全球各地的安全团队带来了新的挑战。在创建新的数据访问方式时，通用AI不符合传统的安全模式，传统安全模式侧重于防止数据流向未经授权的人员。

为了使组织能够在通用AI上快速推进而不引入不必要的风险，安全服务提供商需要更新其程序，考虑到新的风险类型以及它们对现有程序的压力。

不受信任的中间人：阴影IT的新来源

目前，整个行业正在围绕OpenAI、Hugging Face和Anthropic等服务提供方托管的LLMs展开建设和扩张。此外，还有一些开放模型可供使用，例如Meta的LLaMA和OpenAI的GPT-2。

使用这些模型可以帮助组织内的员工解决业务挑战。但是由于种种原因，并非每个人都能够直接访问这些模型。相反，员工往往寻找承诺轻松使用这些模型的工具，如浏览器扩展、SaaS生产力应用、Slack应用和付费API。

这些中间人迅速成为阴影IT的新来源。使用Chrome扩展程序来撰写更好的销售电子邮件不像使用供应商的工具，更像是提高生产力的技巧。对许多员工来说，即使您的组织对底层模型和供应商本身感到满意，他们也不明显意识到他们通过与第三方共享所有这些信息引入了重要敏感数据的泄露。

跨安全边界的训练

这种风险对大多数组织来说相对较新。该风险涉及三个潜在的边界：

• 基于模型的用户之间的边界
• 在基于模型进行微调的公司的客户之间的边界
• 在使用数据对模型进行微调的组织内具有不同数据访问权限的用户之间的边界

在每种情况下，关键是了解哪些数据将输入模型。只有能够访问训练数据或微调数据的个人才能访问生成的模型。

例如，假设一个组织使用一款产品，该产品使用其生产力套件的内容对LLM进行微调。那么，该工具如何确保我无法使用该模型检索最初来源于我无权限访问的文档的信息？此外，当我最初获得的访问权限被撤销后，该工具如何更新机制？

这些问题是可以解决的，但需要特别考虑。

隐私侵犯：使用AI和个人识别信息（PII）

虽然隐私考虑并不新鲜，但使用通用AI处理个人信息可能使这些问题尤为具有挑战性。

在许多司法管辖区，对个人信息进行自动化处理以分析或预测个人某些方面是受监管的活动。使用AI工具可以增加这些过程的细微之处，并使提供选择退出等要求更加困难。

另一个需要考虑的问题是基于个人信息对模型进行训练或微调可能影响您遵守删除请求、数据再利用限制、数据存储地点和其他具有挑战性的隐私和法规要求。

将安全计划调整为适应AI风险

供应商安全、企业安全和产品安全特别受到通用AI引入的新风险类型的压力。这些计划都需要适应并有效管理风险。以下是具体做法。

供应商安全：将AI工具视为其他供应商的工具

在涉及通用AI工具时，供应商安全的起点是将这些工具视为任何其他供应商提供的工具。确保它们符合您对安全和隐私的正常要求。您的目标是确保它们能够成为您数据的值得信赖的托管方。

鉴于这些工具的新颖性，您的许多供应商可能在使用这些工具时并不那么负责任。因此，您应在尽职调查流程中添加相关考虑因素。

例如，您可以考虑在标准问卷中添加以下问题：

• 我们公司提供的数据是否将用于训练或微调机器学习（ML）模型？
• 这些模型将如何托管和部署？
• 您将如何确保只有在我们组织内并具有对数据访问权限的个人能够访问使用我们数据训练或微调的模型？
• 您如何解决通用AI模型中出现幻觉的问题？

您的尽职调查可能采取其他形式。我确信像SOC 2和ISO 27001等许多标准合规框架将在其未来版本中构建相关控制。现在是开始考虑这些问题并确保您的供应商也予以考虑的合适时机。

企业安全：确立正确的期望

每个组织都有自己在摩擦和可用性之间平衡的方法。您的组织可能已经在SaaS环境中实施了严格的浏览器扩展程序和OAuth应用程序控制。现在是检查您的方法是否仍然保持适当平衡的绝佳时机。

不受信任的中间人应用程序通常采用易于安装的浏览器扩展程序或OAuth应用程序的形式，这些应用程序与您现有的SaaS应用程序连接。这些都是可观察和可控的向量。由于如此多的这些工具使用通用AI提供令人印象深刻的解决方案，员工使用可能会将客户数据发送给未经批准的第三方的风险尤为严重。

除了技术控制措施外，与员工们设定正确的期望并假设其善意也是非常重要的。确保您的同事明确了解在使用这些工具时什么是适当的，什么是不适当的。与您的法律和隐私团队合作，为员工制定正式的AI政策。

产品安全：透明性建立信任

产品安全发生的最大变化是确保您不是客户不信任的中间人。在产品中清楚地说明您如何使用通用AI处理客户数据。透明性是建立信任的第一和最强大的工具。

同时，您的产品应尊重客户期望的相同安全边界。不要让个人访问他们无法直接访问的数据上经过训练的模型。尽管未来可能会出现更多主流技术来对模型访问应用细粒度授权策略，但我们在这场变革中仍处于非常早期阶段。快速工程和快速注入是令人着迷的攻击性安全新领域，您不希望使用这些模型成为安全漏洞的来源。

为客户提供选择，允许他们选择是否接受您的通用AI功能。这将使客户能够决定他们希望如何使用其数据的工具。

最重要的是，不要阻碍进步。如果这些工具将使您的公司更成功，那么由于恐惧、不确定性和疑虑而避免使用它们可能比全力投入对话更有风险。