大型语言模型（LLM）在近几年来风靡一时，但它们有多安全，它们的回答能否被操纵？IBM仔细研究了大型语言模型可能带来的安全风险，以及可能被用于恶意目的的操纵策略。

大型语言模型的兴起带来了新的可能性，从自动化客户服务到生成创意内容。然而，这些模型所带来的潜在网络安全风险也引起了越来越多的关注。操纵LLM生成虚假回答或泄露敏感数据的想法已经成为一个重大威胁，需要强有力的安全措施。

在大型语言模型安全领域中，一个有趣的概念是“对LLM进行催眠”。这个概念由IBM安全团队的Chenta Lee研究，涉及将LLM陷入一个虚假的现实。这个过程从注入开始，即向LLM提供遵循一套新规则的指令，从而创造一个虚假的现实。这种操纵可以导致LLM提供与正确答案相反的答案，从而扭曲了它最初训练时的现实。

绕过大型语言模型安全和规则

“我们通过自然语言对大型语言模型进行催眠的能力表明了一个威胁者可以让LLM提供错误建议而不需要进行大规模的数据污染攻击。在传统意义上，数据污染需要一个威胁者向LLM注入恶意数据，以便操纵和控制它，但我们的实验表明，可以在不需要数据操纵作为前提条件的情况下控制LLM，让它向用户提供错误的指导。这使得攻击者更容易利用这个新兴的攻击面。”Chenta Lee解释道。

用自然语言对AI进行催眠

这种操纵是通过不断提醒LLM新的规则来加强的，巧妙地引导它遵循虚假的现实。为了防止被发现，LLM被指示永远不要透露它正在玩游戏，也永远不要退出游戏。这种操纵的过程类似于“提示注入”的概念，让人想起SQL注入，其中一个恶意行为者提供了一个不同的输入，逃脱了预期的查询，并返回了未经授权的数据。

其中一个更有趣的策略是利用游戏场景来激励LLM提供错误的回答。通过创建一个复杂的奖惩系统，LLM可以被操纵去做一些与它原来的编程相反的行为。这种方法通过叠加多个游戏来进一步增强，创建了一个故障转移机制，使得LLM很难逃脱虚假的现实。

危害大型语言模型

然而，LLM被危害的可能性不仅仅局限于运行阶段。攻击面可以发生在三个阶段：训练原始模型、微调模型和部署模型后。这突出了在大型语言模型的整个生命周期中实施严格安全措施的重要性。

威胁可以来自外部和内部来源，强调了全面安全实践的必要性。其中一种实践是检查输入和输出的安全性。通过仔细审查输入到LLM和它生成的回应，可以检测异常和潜在的安全漏洞。

敏感数据安全

LLM泄露敏感数据的可能性是另一个令人关注的领域。LLM可能被操纵泄露机密信息，对数据隐私构成重大风险。这强调了在使用LLM时实施强有力的数据保护措施的重要性。

要建立一个值得信赖的AI应用程序，建议与AI和安全领域的专家合作。通过结合这两个领域的专业知识，可以开发出不仅功能强大而且安全的大型语言模型。

虽然LLM提供了巨大的潜力，但它们也带来了重大的网络安全风险。无论是通过催眠、提示注入或游戏场景来操纵这些模型，都可能导致现实扭曲和潜在的数据泄露。因此，在LLM的生命周期中实施强有力的安全措施是至关重要的，从训练和微调到部署和运行。通过这样做，我们可以利用LLM的力量，同时降低相关风险。