思维图:大型语言模型中复杂问题解决的新范式

2023年10月24日 由 camellia 发表 435 0

了解思维图如何旨在革新提示工程和LLM更广泛的应用,以实现更灵活和类似人类的问题解决。


主要观点


  • 思维图(GoT)是一种旨在增强大型语言模型(LLM)用于复杂问题解决任务的提示能力的新颖框架。
  • GoT通过将LLM生成的信息表示为图形来超越现有的范式,如思维链(CoT)和思维树(ToT),从而实现更灵活和高效的推理。
  • 该框架在任务性能方面取得了显著改进,包括排序质量提高62%和成本降低31%以上,与思维树相比。


这项工作将LLM的推理与人类思维或大脑机制(如循环)更加接近,二者都构成复杂的网络。


介绍


人工智能领域蓬勃发展,出现了越来越复杂的大型语言模型(LLM),可执行各种任务。然而,改善这些模型有效解决复杂问题的能力仍然是一个持续的挑战。这就是思维图(GoT)想要在这个方向上跨越一个巨大的进步的框架。GoT通过将LLM生成的信息结构化为图形,从而实现了LLM提示能力的提升,使其能够进行更复杂和灵活的推理形式。


尽管像思维链(CoT)和思维树(ToT)等现有范式在LLM的结构化输出和分层推理方面有所贡献,但它们通常在一个线性或树形约束内操作。这种限制有时会阻碍模型处理需要多维推理和组合不同信息的复杂问题解决任务的能力。思维图通过引入基于图的结构来管理“LLM思维”,解决了这一差距。这使得信息在模型内部的存储、访问和操作具有前所未有的灵活性。使用GoT,开发人员和研究人员可以通过优化提示策略有效地浏览该图,使LLM以更类似人类的方式解决复杂问题。


了解思维图


思维图的运行基于一个简单而强大的概念:将LLM生成的信息建模为一个图形,其中每个顶点代表一个信息单元,通常称为“LLM思维”。这些顶点之间的边表示不同思维单元之间的依赖关系或关系。该基于图的方法允许:


  • 将任意LLM思维组合成和谐的结果
  • 精炼复杂思维网络的本质
  • 借助反馈环路加强思维


与CoT和ToT等现有范式相比,GoT提供了一种更灵活和高效的方法来管理和操作LLM生成的信息。

2

图1:思维图(GoT)与其他提示策略的比较


实施思维图


要实施GoT,开发人员需要将问题解决过程表示为一个图形,其中每个节点或顶点代表一个思维或信息片段。然后,将这些思维之间的关系或依赖关系映射为图中的边。这种映射允许进行各种操作,如合并节点以创建更复杂的思维,或应用转换来增强已有的思维。


GoT的一个显着特点是其可扩展性,使其能够适应各种任务和领域。与更刚性的结构不同,GoT中的图形表示可以在问题解决过程中动态地改变。这意味着当LLM生成新的思维或获得额外的见解时,可以无缝地将其合并到现有的图形中,而不需要进行完全重构。


此外,GoT还可以实现反馈环路,模型可以根据新获取的信息重新访问和改进其先前的思维。这种动态和迭代的过程显著提高了模型的输出质量,使之成为处理需要持续改进和适应的复杂任务的强大工具。


结论


引入思维图可能标志着LLM领域和在复杂问题解决任务中应用的重大进展。通过采用基于图的方法来表示和操作LLM生成的信息,GoT提供了一种更灵活和高效的推理形式。它在改善任务性能和减少计算成本方面的成功使其成为未来研究和应用的有希望的框架。开发人员和研究人员应该探索这个新的范式,以发挥LLM的完整问题解决潜力并改进其提示策略。

文章来源:https://www.kdnuggets.com/graph-of-thoughts-a-new-paradigm-for-elaborate-problem-solving-in-large-language-models
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消