LangChain和Redis合作开发工具以提高财务文档分析准确性

2023年12月21日 由 camellia 发表 247 0

先进的AI模型的出现彻底改变了自然语言处理领域,使得机器能够以越来越高的准确性和复杂性分析、解释和响应人类语言。然而,即使在这些模型取得重大进步之后,一些AI驱动的助手,比如ChatGPT,仍然面临着从美国证券交易委员会文件中提取的复杂问题的准确回答挑战。Patronus AI的研究人员发现,即使是表现最好的AI模型配置,OpenAI的GPT-4-Turbo,也仅能在Patronus AI新测试中正确回答79%的问题。

1

与LangChain合作,Redis制作了Redis RAG模板,该模板专为创造基于LLM(大型语言模型)的对话应用程序的事实一致性而优化。通过利用Redis作为向量数据库,该模板确保了快速的上下文检索和基础提示构建,为开发人员创建提供反应灵敏和准确AI回应的聊天应用程序提供了关键工具。


Redis RAG模板是一个REST API,允许开发者与公共财务文件交互,比如耐克的10k文件。该应用程序使用FastAPI和Uvicorn通过HTTP服务客户端请求。它还使用UnstructuredFileLoader将PDF文档解析为原文本,使用RecursiveCharacterTextSplitter将文本分割成小块,并使用HuggingFace的'all-MiniLM-L6-v2'句子转换器将文本块嵌入向量。此外,它利用Redis作为向量数据库进行实时上下文检索,并使用OpenAI的'gpt-3.5-turbo-16k' LLM生成对用户查询的回答。


在最近与AIM的一次互动中,Redis首席技术官Yiftach Shoolman说:“你的数据无处不在,无论是在你的笔记本电脑上,组织的存储库中,AWS s3上,还是Google云存储中。你需要一个平台,将数据带到像Redis这样的向量数据库中,根据相关知识将其分割开来。"


在批评ChatGPT时,他说:“ChatGPT不知道任何东西,因为它没有根据你的数据进行训练,并补充说用户需要在他们刚刚创建的知识库中查找与其请求相关的数据。”


RAG模板提供了可部署的参考架构,将效率与适应性相结合,为开发人员提供了一整套选项,用以创建具有反应灵敏和准确AI回应的、基于LLM的事实一致的聊天应用程序。


LangChain的可部署架构中心还包括了特定工具链、LLM链和特定技术链,它们降低了部署API的难度。LangServe在部署这些模板方面发挥了核心作用,使用FastAPI将基于LLM的链或代理转化为可操作的REST API,提高了可访问性,并做到了生产就绪。

文章来源:https://analyticsindiamag.com/ai-models-revolutionised-the-field-of-natural-language-processing/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消