思维传播是一种提示工程技术，指导大型语言模型（LLM）识别和解决一系列与原始查询类似的问题，然后利用这些类似问题的解决方案直接生成新的答案，或者制定详细的行动计划来完善原始解决方案。

关键要点

• 思维传播（TP）是一种增强大型语言模型（LLM）复杂推理能力的创新方法。
• TP利用类比问题及其解决方案来改善推理，而不是让LLM从零开始推理。
• 在各种任务上进行的实验表明，TP的性能显著优于基准方法，提升幅度在12%到15%之间。

TP首先提示LLM提出并解决一组与输入问题相关的类比问题。然后，TP重用类比问题的结果，直接产生新的解决方案，或者通过生成知识密集型的执行计划来修正从零开始得到的初始解决方案。

介绍

大型语言模型（LLM）的灵活性和计算能力是不可否认的，但它们也有一定的限制。LLM最常面临的一个重要和一贯的挑战是它们解决问题的一般方法，即对每个新任务都从第一原则开始推理。这是有问题的，因为它虽然允许高度适应性，但也增加了错误的可能性，特别是在需要多步推理的任务中。

“从零开始推理”的挑战在需要多步逻辑和推理的复杂任务中尤为突出。例如，如果要求LLM找到互连点网络中的最短路径，通常它不会利用先前的知识或类似问题来找到解决方案。相反，它会尝试独立解决问题，这可能导致次优的结果甚至明显错误。于是，思维传播（TP）出现了，这是一种旨在增强LLM推理能力的方法。TP旨在克服LLMs固有的局限性，使其能够从大量类比问题及其相应的解决方案中汲取经验。这种创新方法不仅提高了LLM生成解决方案的准确性，还显著增强了它们处理多步复杂推理任务的能力。通过利用类比的力量，TP提供了一个框架，增强了LLM天生的推理能力，使我们离真正智能的人工系统的实现更近了一步。

了解思维传播

思维传播包括两个主要步骤：

1.首先，提示LLM提出并解决与输入问题相关的一组类比问题

2.接下来，利用这些类比问题的解决方案，直接产生新的解决方案，或修正初始解决方案。

识别类比问题的过程允许LLM重用解决问题的策略和解决方案，从而提高其推理能力。TP与现有提示方法兼容，提供了一个可通用的解决方案，可以在各种任务中进行整合，而不需要进行重大的任务特定工程。

此外，不要低估TP的适应性。它与现有的提示方法兼容，使其成为一个非常灵活的工具。这意味着TP不局限于任何特定的问题解决领域。这为任务特定的精细调整和优化打开了令人兴奋的途径，从而提升了LLM在各种应用中的效用和效果。

实施思维传播

思维传播的实施可以整合到现有LLM的工作流程中。例如，在最短路径推理任务中，TP可以先解决一组更简单的类比问题，以了解各种可能的路径。然后，它将利用这些见解来解决复杂问题，从而增加找到最优解的可能性。

示例1

• 任务：最短路径推理
• 类比问题：点A和点B之间的最短路径，点B和点C之间的最短路径
• 最终解决方案：考虑类比问题的解决方案，得出从点A到点C的最佳路径

示例2

• 任务：创造性写作
• 类比问题：编写一篇关于友谊的短篇故事，编写一篇关于信任的短篇故事
• 最终解决方案：编写一篇复杂的短篇故事，融入友谊和信任的主题

这个过程首先解决这些类比问题，然后利用得到的见解来解决复杂任务。该方法在多个任务中展示了其有效性，显示了性能指标的显著改进。

结论

思维传播是一种强化大型语言模型（LLM）能力的提示方法，在提供LLM利用类比问题及其解决方案的同时，提供了一种更细致和有效的推理方法。实验证实了其有效性，使其成为在各种任务中提高LLM性能的候选策略。思维传播可能最终代表了在寻找更强大的AI系统方面的重要进展。