使用Palantir AIP进行构建:RAG/OAG的数据工具

2023年12月15日 由 alex 发表 774 0

介绍


本文将介绍本体增强生成(OAG),这是检索增强生成(RAG)的更广泛、决策为中心的版本。从高层次上讲,RAG使生成性AI能够从外部来源检索数据。这允许大型语言模型(LLM)利用特定背景下的外部信息——例如,关于企业的订单、客户、地点等数据——来生成回复,减少幻觉的风险。通过RAG,LLM还可以引用用于生成特定回复的来源,建立信任并提供清晰的审计追踪。


OAG将RAG提升到一个新的水平,允许LLM利用确定性逻辑工具(例如,预测和优化器)和行动通过Palantir本体来关闭与源系统的回路。每个企业的本体包含驱动该特定环境中运营决策的数据、逻辑和行动。将LLM植入到本体中,实际上是将它们锚定在给定业务的现实中,不仅推动了更准确、更强大的应用,而且还建立了更大的信任:LLMs可以有效地“展示它们的工作过程”,并将特定来源从企业自己的运营现实中呈现出来。


应用程序


就像我们其他的烹饪节目视频一样,我们首先展示我们构建的成品应用程序。在这个场景中,我们有一个虚构的公司——泰坦工业(Titan Industries)——该公司专门从事医疗用品,在其一个配送中心发生火灾。火灾使泰坦的客户面临供应短缺的风险,我们想要防止这种情况的发生。


有了AIP,我们可以构建一个应用程序——下面预览的内容——它能让我们迅速评估火灾的影响,识别受影响的订单,并找出可操作的解决方案(例如,重新分配库存以满足客户订单)。这个应用程序展示了LLM正在采取的思考链(CoT)推理步骤,以及它在本体中访问的对象——提供了透明度,告诉我们它是如何得出结论的。


屏幕截图2023-12-15113615


HyperAuto


为了推动这一OAG工作流程,我们需要能够被LLM后端功能利用的数据元素。


HyperAuto — 也被称作软件定义数据集成(SDDI)— 是一套旨在提供端到端的数据集成的能力集合,适用于最常见和最关键的系统之上。HyperAuto让你能够自主地使用ERP、CRM以及其它对组织至关重要的数据创建有价值的工作流程。


HyperAuto利用数据源的元数据,实时查询数据源以得出关于同步构建方式、应用什么转换逻辑以及如何设计合适本体论的见解。


通过利用元数据来创建管道并连接到像SAP这样的复杂系统,HyperAuto简化了数据操作,允许分析师专注于战略目标。HyperAuto可以让你在几分钟内从数据源到本体论转换。


本体论反过来将所有相关来源的实时数据整合进一个企业的语义模型中。这使我们能够将AI植根于企业的操作真实性中,减轻模型幻觉的风险,并为决策创造所需要的信任。


在这个上下文中,我们使用HyperAuto从泰坦公司的SAP系统中创建本体论对象,例如客户、客户订单、成品、制造工厂等等— 在几分钟内完成。


2


数据健康


现在数据正在通过HyperAuto流动,保持数据的健康和清洁是非常重要的。AIP具备一整套强大的集成工具,以确保从端到端的数据健康和完整性检查,保持数据管道的当前性和可靠性。


当我们将数据健康(Data Health)和数据血统(Data Lineage)工具结合起来时,数据血统工具提供了一个视图,展现了数据是如何在平台中流动的,我们就有了一个全景视窗去观察和检查整个企业中数据的健康状况。例如,在数据健康(Data Health)中,你可以根据不同的标准(例如,状态、时间、大小、内容、模式)设定检查,并设置不同的严重性和警报级别。有了数据血统(Data Lineage),我们就可以很容易地看到一个地方的数据健康问题可能在其他地方造成了问题。


3


数据即代码


Palantir 的“数据即代码”理念将软件开发的原则融入数据管理,为用户提供控制、灵活性以及可复制性。


本质上,AIP 就像对待代码一样对待数据,关照和动态交互,允许进行迭代改进和在多用户环境下的细致变更管理。


该系统的关键是能够分支 —— 这一概念源自版本控制系统 —— 它允许多个用户同时对数据进行工作,促进创新而不牺牲数据完整性。此外,用户可以轻松地展现数据集随时间的演变,便于调试和问题解决。


这意味着用户可以快速且对他们的数据质量充满信心地移动。


4


确保本体安全


一旦我们在我们的本体中创建了对象,我们不仅需要定义它们如何通过链接和动作类型与你的业务其他部分相关联,还需要确保它们对于用户和AI都有适当的安全控制。


我们可以在 Palantir 的本体管理应用程序(OMA)中完成所有这些操作。OMA 允许我们快速地在整个本体中传播细粒度的安全控制,直到个别对象的层级。这保护了企业信息,并确保用户能够严格控制AI可以访问的信息。


5


AIP逻辑:赋予LLM数据工具


现在我们已经自动创建了我们的数据管道,定义了我们的本体论,确保了我们的数据是干净的,并且设置了我们的安全控制,我们就准备创建我们的应用程序了。


我们将使用AIP逻辑来完成此任务。AIP逻辑革命性地推动了AI驱动功能的创建,提供了一个无代码环境,简化了与本体论的高级LLMs集成。它旨在简化开发过程,允许开发人员轻松地构建、测试和部署AI驱动功能,而无需深入复杂的编程或工具配置。


我们展示了AIP逻辑如何使我们能够为LLM配备一个本体论驱动的数据工具——在这个案例中,以帮助解决泰坦工业公司模拟的供应链问题。工具范式不仅限于数据,还包括逻辑和行动(就像我们将来的视频中将要看到的),为我们提供了安全地“教导”LLM新能力的能力——就像我们教新员工一样。


我们从输入我们的提示开始。因为我们已经允许LLM访问我们本体论中的某些对象,我们可以在我们的提示中包含它们。这意味着LLM也可以访问这些对象的链接、动作和其他关系——例如,一个客户订单对象将包括客户名称、材料ID、配送中心等,以及它们之间的所有关系。因此,LLM能够在生成回应时考虑到这些关系。


AIP逻辑的用户友好界面允许我们轻松地制作提示,调试提示和工具使用,以及监控结果。我们构建的不同逻辑块提示LLM搜索受影响的订单,识别有足够材料供应的配送中心,并向我返回受影响订单及建议的补救措施列表。


在短短几分钟内,我们能够部署一个准备好在配送中心出现问题时激活的应用程序,识别出现问题的可行解决方案(在此示例中,告诉我如何解决由配送中心火灾引起的短缺问题)。基于本体论增强生成(OAG)原则的这个应用程序,展示了AIP将AI基于企业的数据、逻辑和行动以支持实时操作决策的能力。


6


结论


7


文章来源:https://medium.com/palantir/building-with-palantir-aip-data-tools-for-rag-oag-b3b509c8b0f3
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消