学习是一场持续的旅程，无论对于人类还是AI模型都是如此。然而，一个经常出现的问题是，这些AI模型能否像人类一样自我学习？根据最近的发展——它们可以。为了更好地理解这一点，让我们回到大学时代，那时C++、Java和Python是我们需要掌握的主要语言，以便在计算机科学领域脱颖而出。学习这些语言需要理解语法、语义、实际应用和问题解决。因此，为了熟练掌握这些语言，我们不断练习（或者说接受训练）。同时，我们也从同学和教授那里学到了很多。对吧？同样地，就像人类可以从自己的思考、专业知识和其他媒介中学习一样，也许大型语言模型（LLM）也可以。

然而，对于人类和LLM来说，获得专业知识或成为领域专家都是一段相当严格的旅程。我们了解人类的决策和任务完成过程中的学习过程和推理能力，但LLM的训练过程是怎样的呢？

我可以这样说吗？

1. 首先，LLM的预训练：在这一步中，你帮助模型学习模式，如语法、句子结构，甚至词语和概念之间的关系。
2. 指令调优（或微调）：为了微调模型，使用一个包含指令示例和期望响应的精选数据集。
3. 基于人类反馈的强化学习（RLHF）：人类评估者对模型响应进行排名，这进一步用于改进模型与用户期望的一致性。

这很有道理，对吧？但是，如果我们构建一个代理工作流程，让模型在学习时独立完成所有检查并给出输出呢？这就像拥有一个自己的助手，可以在没有任何人类干预的情况下完成所有工作。此外，本文将讨论用于构建AI系统的4种代理AI设计模式。

概述

本文讨论了AI模型，特别是像GPT这样的大型语言模型（LLM），如何通过采用模仿人类迭代问题解决的代理工作流程来自主学习。

代理工作流程通过逐步细化任务来提高AI性能，类似于人类如何反复审查和改进自己的工作以获得更好的结果。

介绍了四种关键的代理设计模式——反思、工具使用、规划和多代理协作——作为使AI系统更加自主和有能力的策略。

什么是代理设计模式？

代理设计模式被提出作为使LLM更加自主的一种解决方案。而不是仅仅给模型一个提示并期望一个最终答案（就像一次性写一篇文章），类似代理的方法涉及多次、逐步地提示LLM。每一步都细化任务，模型迭代地改进其输出。

为了更好地理解这一点，让我们这样看：

当我们在零样本模式下提示LLM时，就像要求某人一次性写完一个故事而不进行修订。LLM在这方面做得很好，但它们可以做得更好。通过使用类似代理的工作流程，我们可以分步骤多次提示LLM。每一步都建立在前一步的基础上，细化响应。这就像要求LLM多次审阅文章，每次审阅都进行改进。

我所说的每一步是指：

让我们以使用代理工作流程编写代码为例：

1. 规划代码大纲：将任务分解为更小的模块或函数。
2. 收集信息和内容：研究库、算法或现有解决方案。如果需要，进行网络搜索或查看文档。
3. 编写代码的第一稿：实现基本功能，注重结构而非完美。
4. 审查代码中的低效或错误：检查不必要的代码、错误或逻辑缺陷。
5. 修订代码：重构、优化或添加注释以提高清晰度。

重复上述步骤，直到代码高效且简洁。

通过允许模型独立地完成这些步骤，代理设计模式增强了类似人类的推理和效率。这类似于人类如何分解复杂任务、收集信息、进行改进并迭代，直到最终结果令人满意。现在，让我们详细了解代理设计模式。

代理设计模式：评估

Andrew Ng在Deeplearning.ai上发布的一封信中分享了他的分析，指出了AI驱动的代码生成方面的进步，特别是关注了GPT-3.5和GPT-4等模型的性能。评估主要围绕这些模型在广泛认可的人类评估（HumanEval）编码基准测试上的表现进行，这是评估算法编写代码能力的一个通用标准。

数据显示了使用AI代理在AI编码能力方面的演变。GPT-3.5在零样本设置（即没有任何先前示例）下测试时，达到了48.1%的正确率。同样在零样本设置下评估的GPT-4表现出了显著提升，成功率为67.0%。然而，分析中突出的是，将这些模型集成到迭代代理工作流程（代理式工作流程）中极大地提高了它们的性能。当GPT-3.5被嵌入到这样的代理循环中时，其准确率飙升至令人印象深刻的95.1%，远超其基线水平，甚至接近人类水平的编码能力。

这一发现强调了迭代工作流程（代理式工作流程）在增强AI模型性能方面的变革性潜力，表明AI辅助编码的未来可能更依赖于这些更先进、更自适应的框架，而不仅仅是模型大小或架构的改进。

但是，什么是能够使AI系统完全自主行动的代理式设计模式呢？这些模式使AI代理能够执行任务、做出决策并以更类似人类和自主的方式与其他系统进行通信，最终创建出既聪明又可靠的应用程序。

你必须知道的四种代理式设计模式

在代理式AI和关键设计模式中，了解每种模式如何赋能大型语言模型（LLM）如GPT以更自主和有效地行为是至关重要的。这些设计模式通过鼓励自我评估、工具集成、战略思考和协作，推动了AI能力的边界。让我们探讨四种关键的代理式设计模式，它们塑造了这些模型的运作方式和执行复杂任务的能力。

以下是代理式设计模式的类型：

反思模式

反思模式侧重于提高AI评估和完善其自身输出的能力。想象一下，一个大型语言模型（LLM）像人类审阅者一样审查其生成的内容或代码，识别错误、漏洞或需要改进的地方，然后提出改进建议。

这种自我批判循环并不限于一次迭代。AI可以根据需要重复反思过程，以达到精炼、完善的结果。例如，如果任务是编写软件，LLM可以生成初始版本，批判其自身的逻辑和结构，然后修订代码。随着时间的推移，反思的迭代性质会带来更强、更可靠的输出。

这种模式在需要精确度的任务中特别有用，如内容创作、问题解决或代码生成。采用这种方法可以通过自我引导的修正来提高模型的准确性和可靠性。

一个有趣的例子是自反思检索增强生成（Self-Reflective RAG）。SELF-RAG是一个框架，旨在通过将检索和自我反思集成到文本生成过程中，来提高语言模型的质量和事实准确性。传统的检索增强生成（RAG）模型通过融入相关检索段落来增强响应，但通常会检索固定数量的文档，无论其相关性如何，这可能会引入噪声或无关内容。SELF-RAG通过一种按需检索信息并使用反思标记来评估生成内容质量的自适应方法，解决了这些限制。

SELF-RAG如何利用反思？

SELF-RAG通过“反思标记”融入了自我反思机制，这些标记用于评估文本生成的各个方面，如相关性、支持度和整体实用性。在生成过程中，模型评估是否需要检索，并在不同阶段通过自我批判来评估生成内容的质量。

以下是帮助更好理解的图示：

• 传统的RAG首先检索固定数量的文档，而Self-RAG则根据正在生成的内容动态地进行检索。
• Self-RAG评估多个生成的片段，批判它们的质量，并有选择地结合最准确的信息。
• Self-RAG的迭代过程使得生成能够逐步精炼，提高输出的准确性和相关性。

简而言之，Self-RAG增加了一层自我反思和精炼，从而得出更可靠、更精确的答案。

工具使用模式

工具使用模式显著拓宽了大型语言模型（LLM）的能力，使其能够与外部工具和资源互动，从而增强其解决问题的能力。遵循这一模式的AI不再仅仅依赖于内部计算或知识，而是可以访问数据库、搜索网络，甚至通过像Python这样的编程语言执行复杂功能。

例如，可以提示LLM从网络上检索特定查询的数据，对其进行分析，并将其整合到输出中。或者，它可能被要求计算统计结果、生成图像或操作电子表格——这些操作超出了简单文本生成的范畴。通过融入工具的使用，LLM从静态的知识库进化为能够与外部系统互动以实现目标的动态代理。

这一模式之所以强大，是因为它允许AI系统处理更复杂、多方面的任务，在这些任务中，仅凭内部知识是不够的，从而将其实用性扩展到实际应用中。

规划模式

规划模式使大型语言模型（LLM）能够将庞大、复杂的任务分解为更小、更易管理的组件。规划为智能体提供了响应请求并战略性地构建实现目标所需步骤的能力。

使用规划模式的LLM不会线性地、临时地处理问题，而是会创建子任务的路线图，确定完成任务的最有效路径。例如，在编码时，LLM会先概述整体结构，然后再实现各个功能。这避免了混淆或逻辑偏离，使AI专注于主要目标。

ReAct（推理与行动）和ReWOO（基于开放本体的推理）通过将决策和情境推理集成到规划过程中，进一步扩展了这种方法。ReAct使LLM能够在推理（思考问题）和行动（执行特定任务）之间动态切换，从而实现更具适应性和灵活性的规划。通过结合这两个步骤，LLM可以迭代地完善其方法，应对出现的意外挑战。

另一方面，ReWOO通过使用开放世界本体来指导推理，增强了规划模式。这意味着LLM可以融入更广泛的情境信息和来自不同领域的知识，从而做出更明智的决策。通过ReWOO，AI可以根据新获得的信息或不断变化的需求实时调整计划，确保更稳健、更全面的问题解决方法。

规划模式、ReAct和ReWOO共同使LLM能够以结构化且自适应的方式处理复杂任务，从而实现高效且目标导向的执行。

此外，生成结构化计划（或“用户请求摘要”）确保AI能够跟踪所有步骤，并且不会忽视更广泛的任务。这种方法确保了结果的高质量和一致性，特别是在复杂问题解决或多阶段项目中。

多智能体模式

多智能体模式建立在委托的概念之上，类似于人类团队中的项目管理。这一模式涉及将不同的智能体（即具有特定角色或功能的大型语言模型实例）分配给处理各种子任务。这些智能体可以独立工作于各自的任务，同时相互通信和协作，以实现统一的结果。

多智能体模式有几种类型：

1. 协作智能体：多个智能体共同处理任务的不同部分，分享进度，并朝着统一的结果努力。每个智能体可能专注于不同的领域。
2. 监督智能体：一个中央监督智能体管理其他智能体，协调它们的活动并验证结果，以确保质量。
3. 分层团队：一个结构化的系统，其中高层智能体监督低层智能体，决策通过层级传递，以完成复杂任务。

例如，在一个既需要文本分析又需要数值计算的场景中，可以有两个独立的智能体分别处理每个任务，分享它们的结果以形成全面的解决方案。一个智能体可能专注于理解上下文，而另一个处理数据，它们共同提供一个整体的响应。这一模式在处理需要多种技能集的大规模或复杂问题时特别强大。

简而言之，多智能体模式反映了人类如何跨专业领域协作，确保每个智能体专注于其优势，同时为更大的、协调一致的努力做出贡献。

通过掌握这四种智能体设计模式，开发者和用户都能释放AI系统的全部潜力。反思模式通过自我评估提高准确性和质量，工具使用模式使动态的现实世界互动成为可能，规划模式为解决复杂任务提供路线图，而多智能体协作模式确保多个智能体有效协作。这些模式共同为构建更智能、更自主的AI系统奠定了基础，这些系统能够应对现实世界的挑战。

结论

智能体设计模式强调了智能体工作流程在使AI模型（特别是大型语言模型（LLM））更自主和高效方面的变革性潜力。它解释说，虽然像GPT-3.5和GPT-4这样的模型在零样本任务中表现良好，但采用迭代式、智能体工作流程时，它们的准确性和有效性会显著提高。这种方法允许模型分解任务、自我评估、利用外部工具、战略性地规划，并与其他智能体协作，从而增强其解决问题的能力。

文章介绍了构成这些智能体工作流程基础的四个关键设计模式：反思、工具使用、规划和多智能体。这些模式突破了AI能力的边界，使AI系统能够更独立、更智能地行为，就像人类处理复杂任务一样。这表明，未来的AI进步将取决于模型规模的扩大以及更适应性和战略性工作流程的开发。