几天前，Meta AI推出了“Prompt Engineering with Llama 2”，这是为开源社区创建的新资源，是一个最佳实践的存储库。甚至Andrew Ng的DeepLearning.AI最近也发布了一门名为“Prompt Engineering for Open Source LLMs”的课程。IBM、亚马逊、谷歌和微软都为开源模型提供了类似的提示工程课程。

提示工程是2023年最受关注的职业之一。各种公司在以不同的方式采用OpenAI的ChatGPT的同时，也聘请了可以促使聊天机器人做出正确的回应的专家，据称会向他们支付巨额工资。

这也导致了数百门人人都想上的提示工程课程的兴起。但其中大多数是针对OpenAI等开源模型的。现在，随着公司采用开源LLM，如Meta的LLaMA和Mistral，有必要了解提示工程与开源LLM的不同之处。

一些公司实体正在开发和测试基于开源技术的客户支持和代码生成应用程序。这些应用程序旨在使用公司独有的专有代码，这对OpenAI或Anthropic创建的通用封闭模型LLM来说往往具有挑战性。

Yann LeCun在X上的一篇帖子中分享道：“很多客户都在问自己：等一下，我为什么要为一个对我的业务知之甚少的超大型模型付费？我能不能只使用其中一个开源模型，也许可以使用一个小得多的开源模型来实现（信息检索）工作流程？”

开源提示工程

最近，Lamini的联合创始人兼首席执行官Sharon Zhou与DeepLearning.AI合作，为开源LLM的提示工程开设了一门课程。她强调了开源模型与闭源模型的不同，这影响了API，最终影响了提示机制。

她说，许多人会混淆提示工程、RAG和微调。“提示不是软件工程，它更接近于谷歌搜索，”她补充说，并在最近的X帖子中详细讨论了这一点。她补充说，RAG是提示工程，“不要过度复杂化”，它只是关于检索信息。

Zhou强调了提示工程的简单性，重申提示只是字符串。她将该过程与在编程语言中处理字符串进行比较，明确指出这是一项基本技能，不需要复杂的框架。“不同的LLM和LLM版本意味着不同的提示，”她补充说。

然而，她承认许多框架往往会过度复杂化提示工程，可能导致次优结果。Zhou解释说，在实践中，转换不同的LLM时定制提示至关重要。这与OpenAI进行版本更改时的情况类似，导致以前有效的提示不再产生所需的结果。

开源LLM也是如此。保持整个提示的透明度对于优化模型的性能至关重要。许多框架在这方面面临挑战，经常试图抽象或隐瞒提示细节，造成后台处理过程的错觉。

强调了提示工程的简单性，重申提示只是字符串。她将这个过程比作用编程语言处理字符串，清楚地表明这是一项基本技能，不需要复杂的框架。“不同的LLM和LLM版本意味着不同的提示，”她补充道。

然而，她承认，许多框架往往会使提示工程过于复杂，可能导致次优结果。Zhou解释说，在实践中，在不同的LLM之间转换时，定制提示是至关重要的。这与OpenAI进行版本更改时类似，当以前有效的提示不再产生所需的结果时，会导致混乱。

开源LLM也是如此。保持整个提示的透明度对于优化模型的性能至关重要。许多框架在这方面面临挑战，经常试图抽象或隐藏提示细节，从而产生在幕后管理流程的错觉。

在谈到企业采用时，与Meta合作将开源Llama 2引入企业用例的戴尔公司AI战略高级副总裁Matt Baker表示，除非为大模型制作特定用例，否则大型模型对公司毫无用处。这就是小型、专业化和微调模型发挥作用的地方，从而催生了RAG和提示工程。

尽管现实情况是大多数公司都会为不同的用例使用开源和闭源的LLM，但现在大多数信息检索都依赖于使用公司数据的API和开源模型进行微调，因此公司需要适应和学习如何精确地提示模型并提供准确的信息。