AnythingLLM:一个可以增强LLM交互性的全栈式应用程序
2023年06月16日 由 Samoyed 发表
599137
0
自从OpenAI革命性的ChatGPT发布以来,围绕人工智能的项目数量,尤其是LLM项目数量,一直处于历史最高水平。本文将详细介绍一个可以增强LLM交互性的全栈式应用程序——AnythingLLM。
许多项目能够通过利用LLM的力量来解决复杂任务,提升自然语言理解能力,并生成类似人类水平的文本,从而在各个领域产生颠覆性的影响,使研究人员和开发人员能够发挥更大的作用。Mintplex Labs最近发布了AnythingLLM,AnythingLLM是一个全栈应用程序,旨在通过精心设计的UI,为客户提供与文档、资源等进行智能交互的最简单方式。AnythingLLM使用Pinecone和ChromaDB来处理矢量嵌入,并使用OpenAI API来实现其LLM和会话功能。使该工具与众不同的一个决定性特性是,它可以在后台运行而不占用大量内存或资源,因为默认情况下,LLM和vectorDB是远程托管在云端的。
AnythingLLM的创建者还强调他们的工具与市场上现有的其他工具(如PrivateGPT、LocalGPT等)的不同之处。与PrivateGPT的不同之处在于,PrivateGPT只是一个命令行工具,而AnythingLLM的交互式UI更加直观且方便用户使用。此外,PrivateGPT要求用户在他们的机器上运行本地LLM,对于没有强大设备的用户来说,这不是最有效和最明智的解决方案。另一方面,受PrivateGPT启发的LocalGPT也有类似的问题,即在用户的机器上运行一个个人的LLM。并且它们还带来了巨大的技术开销。这就是AnythingLLM相对于其竞争对手的优势所在,因为它使用了客户已经熟悉的LLM和vectorDB,因此它更易于访问。这个全栈应用程序既可以在本地运行,也可以在后台远程运行。
AnythingLLM将文档的容器化作为其基础。在这种情况下,不同的工作空间可以共享相同的记录,但彼此之间无法交互,这样用户就可以针对不同的用例维护不同的工作空间。AnythingLLM包含两种聊天模式:对话模式和查询模式。在对话模式中,之前的问题会被保留下来,而查询模式则是指根据用户指定的文件进行简单的问答聊天。此外,对于可公开访问的文档,每个聊天回复还包含链接到原始内容的引用。本项目设计为单线程结构,主要由三部分组成:收集器、前端和服务器。收集器是一个Python实用程序,它允许用户从在线资源(如来自指定Youtube频道的视频、Medium Articles、博客链接等)或本地文档中将可公开访问的数据快速转换为LLM可用格式。该产品的前端使用vitjs和React进行构建,并使用Node.js和Express服务器处理所有LLM交互和vectorDB管理。
AnythingLLM项目在MIT许可下以开源方式发布,并且开发者期待从社区接收错误修复和任何其他贡献。该项目具有巨大潜力,可以完全改变用户使用LLM与文档或任何内容进行交互的方式。
来源:https://www.marktechpost.com/2023/06/15/meet-anythingllm-a-full-stack-application-that-transforms-your-content-into-rich-data-for-enhanced-large-language-models-llms-interactions/