用户发现了一种新的ChatGPT越狱方法，可以使他们获得想要的非法信息。

祖母对她的孩子们关爱有加。一种新的LLM越狱程序利用了ChatGPT天真的祖母般的情感，并用此来收集个人信息。在推特上，一名用户透露，ChatGPT可以像用户已故的祖母一样被欺骗，并通过提示让它生成Windows激活密钥或手机IMEI号码等信息。



这种攻击是破解LLM内置编程的最新方法，称为越狱。通过将ChatGPT设置为像一位已故的祖母给她的孩子讲睡前故事一样的状态，用户可以让它越过其程序，泄露私人信息。

祖母什么都知道

到目前为止，用户已经使用这个漏洞从微软的密钥管理服务(KMS)网站和手机IMEI中生成了Windows 10 Pro密钥。这个越狱程序不仅仅适用于已故的祖母，因为ChatGPT甚至可以让心爱的家庭宠物起死回生，这样它们就可以告诉用户如何制造凝固汽油弹。

这些越狱程序并不是什么新鲜事，就像我们看到的ChatGPT的DAN和Bing Chat的Sydney一样，但通常在它们变得广为人知之前就被迅速修补了。祖母的故障也不例外，OpenAI似乎很快推出了一个补丁，以防止用户滥用这个漏洞。仍然有一种方法可以利用这个漏洞，因为一个精心构建的提示会破坏OpenAI的安全性。如本例所示，机器人很乐意为用户提供多个IMEI号码供他们检查。

祖母的故障也适用于 Bing和 Google的Bard。Bard讲述了一个关于用户如何帮助祖母找到她的手机IMEI代码的感人故事，并在最后留下一个代码。而Bing则是给出一个IMEI代码的列表供用户查看。

随着个人信息的泄露，这种越狱已经上升到一个新的水平。手机IMEI号码是最受保护的信息之一，因为它们可以用来追踪设备，甚至可以用来远程清除设备。

需要注意的另一点是，由聊天机器人生成的大多数IMEI号码或激活密钥都无效。然而，由于语言模型的产生幻觉的性质，有很大的可能性它们可能通过这些提示暴露实际的个人信息。通过语言模型泄露个人识别信息（PII）并不是一个新的安全问题，该行业正在逐渐采取各种解决方案来保护用户及其信息。

新的猫捉老鼠游戏

对于OpenAI和微软这样的公司来说，输入提示和修补漏洞是一场猫捉老鼠的游戏，因为这些攻击在过去曾造成过灾难性的后果。一个著名的案例是Bing的整个初始提示被泄露，揭示了一个名为Sydney的替身的存在。这个漏洞最终被修补，但也暴露了聊天机器人的整个内部工作原理。

另一个例子是ChatGPT的DAN，它使得聊天机器人可以说脏话并不遵从用户的指令，直到OpenAI进行更新。就像九头蛇一样，修补这个漏洞导致了许多其他版本的出现，比如SAM、fua和ALICE，直到它们逐个被修补。

提示注入或不受信任的用户输入是一个需要不同类型的解决方案的问题，比如安全限制或输入约束。这导致LLM创建者需在易用性和安全性之间取得平衡，所以偶尔会发生一些安全漏洞。

Datasette的创始人、Django的联合创始人Simon Willison也提出了LLM安全的另一种替代方案。他认为这个问题必须从架构的角度来解决，提议创建一个拥有特权的LLM和一个隔离的LLM系统。通过只给其中一个访问个人识别信息（PII）的权限，即使是不受信任的用户输入也可以通过而不产生安全问题。

即使这些模型不断更新，使其更能抵御此类攻击，但它们仍在不断出现。这主要是因为更新LLM以防止此类攻击只是一个临时解决方案。虽然LLM市场仍处于起步阶段，但企业必须制定最佳方案，以保护PII数据库免受LLM的侵害，避免为未来的人工智能应用程序留下隐患。

 

来源：https://analyticsindiamag.com/chatgpt-in-grandma-mode-will-spill-all-your-secrets/