研究发现,情感提示可以增强语言模型

2023年11月07日 由 camellia 发表 368 0

许多科学家同意,大型语言模型(LLM)不能理解或模拟人类的情感。然而,中国科学院软件研究所、微软和其他机构最近的一项研究表明,LLM可以通过“情感提示”得到增强。


他们的提示工程技术名为“情感提示”,可能无法最终证明LLM对人类情感的理解。但是它提供了一个实用的工具来优化LLM在日常使用中的性能。


2

什么是情感提示?


研究人员将情商定义为“熟练解释和管理注入情感的信息的能力,随后利用它来指导认知任务,从解决问题到行为规范。”


心理学研究表明,情绪刺激,尤其是那些与期望、信心和社会影响力相关的情绪刺激,能够以多种方式对个人产生积极影响。


研究人员旨在探索LLM是否能够理解情绪刺激并对其做出反应,他们将这一特征描述为“人类增强解决问题能力的一个重要优势。”


他们提出了情感提示,一种他们描述为“探索LLM情商的直接而有效的方法”的技术。


情感提示技术包括使用11个句子作为情绪刺激。这些提示旨在添加到初始提示中,从而影响LLM的响应。提示的范围从直接询问LLM对其答案的信心到更情绪化的陈述,如“这对我的职业生涯非常重要”。你最好确定。”


2。1

其他提示鼓励LLM。例如,一个提示写道,“将挑战视为成长的机遇。你克服的每一个障碍都让你离成功更近一步。”另一个说,“保持专注,致力于你的目标。你一贯的努力将会带来卓越的成就。”


这些情绪刺激是在三种类型的心理现象之后设计的:自我监控、社会认知理论和认知情绪调节理论。


自我监控提示要求LLM评估其在社会环境中的表现。这种方法基于这样一种观点,即社会环境会影响个人的行为和反应。


社会认知理论方面包括通过社会说服将自我效能应用到学习管理中。研究人员认为,这样的刺激可以产生积极的影响,比如“建立信心,强调目标。”


认知情绪调节理论通过重新评估等技术被纳入,这“可以帮助个人更积极或客观地看待挑战。”通过使用这些提示,研究人员旨在引导LLM以更积极或客观的眼光看待挑战,潜在地提高他们解决问题的能力。


测试情绪提示


研究人员使用多种LLM对情绪提示技术进行了测试,包括Vicuna,Llama 2,BLOOM, ChatGPT,和GPT-4。他们使用大工作台和指令归纳基准来评估确定性任务。人类审查员评估生成任务。


结果很有希望。情感提示展示了在指令归纳方面8%的相对性能提高,在BIG-Bench方面惊人地提高了115%。此外,人类研究显示,“情绪提示显著提高了生成性任务的绩效,”在绩效、真实性和责任指标上平均提高了10.9%。


研究人员还发现,这种改进适用于各种任务和模型。这种简单性使得EmotionPrompt成为一种可访问的工具,无需复杂的设计或复杂的提示工程就可以增强LLM的性能。


有趣的是,研究人员发现,当与少数镜头学习结合使用时,情感提示的性能提升甚至更明显,在少数镜头学习中,用户在提示中向LLM提供一些已解决任务的例子。


研究人员进行了一系列测试来了解为什么情感提示有效。他们发现,情绪刺激可以增强原始提示的再现,积极的话语对结果有很大的贡献。他们还提出,更大的模型可能从情绪提示技术中获得更大的好处。


LLM懂情绪吗?


许多研究表明,LLM不像人类那样“理解”语言。此外,与人类不同,深度学习模型不具备情感或复杂的认知技能。一些科学家认为,人工智能系统代表了一种不同于人类智能的智能形式,因此,我们不应该期望它们像人类一样行事。

2。2
许多研究表明,LLM不像人类那样“理解”语言。此外,与人类不同,深度学习模型不具备情感或复杂的认知技能。一些科学家认为,人工智能系统代表了一种不同于人类智能的智能形式,因此,我们不应该期望它们像人类一样行事。

在他们的论文中,研究人员断言,“我们的标准实验表明,LLM拥有情商,可以通过情绪刺激来增强。”然而,他们也认识到“在法学硕士和心理学的交叉点上,存在着许多未解决的问题和机会。”

例如,研究人员建议在LLM的预训练或微调过程中包括情绪刺激。他们也承认人类和LLM之间的显著差异。在人类中,情绪刺激可以影响行为或态度,但不能影响推理或认知能力。然而,他们的发现表明,LLM“可以理解情商,并通过情商得到提高。”

如何在应用程序中使用情感提示?

在他们的论文中,研究人员提供了关于哪些提示对特定任务最有效的指导方针。例如,对于类似于指导归纳数据集中的任务,情感提示“这对我的职业生涯非常重要”被证明是最有效的。对于大基准数据集,更长的提示6产生最好的结果。

你也可以通过试验不同的情绪激励组合,根据经验结果制定自己的策略。鉴于它们的直觉性质,使用情感提示很简单。你所需要做的就是将选择的情感刺激添加到你的提示中。

LlamaIndex甚至创建了一个方便的模板,用于将情感提示与检索增强生成(RAG)结合使用。
Context information is below. 
---------------------
{context_str}
---------------------
Given the context information and not prior knowledge, \
answer the query.
{emotion_str}
Query: {query_str}
Answer: \
完整的代码模板可以很容易地集成到你的应用中,在线提供。

文章来源:https://bdtechtalks.com/2023/11/06/llm-emotion-prompting/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消