Snowflake推出精确数据分析agentic AI系统Cortex Analyst

2024年08月15日 由 samoyed 发表 153 0

该系统最初于今年 6 月在公司的数据云峰会上宣布,是一个完全托管的服务,为企业提供与数据对话的交互式界面。用户只需用简单的英语提出业务问题,agentic AI系统就会接手后续工作,包括将提示转换为 SQL、查询数据、运行检查并提供所需答案。


a-captivating-illustration-of-a-futuristic-robot-d-fWRDGf9rSHG_x1l8En8gaQ-i1pi3VHiSwKN4QQKWo8Raw-


AI 时代下的组织准备:从技术到转型


Snowflake 的 AI 部门负责人 Baris Gultekin 告诉 VentureBeat,该服务采用多个大型语言模型(LLM)代理协同工作的方式,以确保提供约 90% 的准确见解。他声称,这远胜于现有基于 LLM 的文本到 SQL 解决方案的准确性,包括 Databricks 的产品,并能轻松加速分析工作流程,使业务用户能够即时获取他们做出关键决策所需的见解。


使用 Cortex Analyst 简化分析


尽管企业继续加倍投入 AI 驱动的数据生成和预测,但数据分析在业务成功中仍发挥着变革性的作用。组织从以表格形式组织的历史结构化数据中提取有价值的见解,以在营销和销售等领域做出决策。


然而,目前的情况是,整个分析生态系统在很大程度上是由商业智能(BI)仪表板驱动的,这些仪表板使用图表、图形和地图来可视化数据并提供信息。这种方法虽然有效,但有时也会显得相当僵化,用户难以深入探究特定指标,并经常依赖于应接不暇的分析师来获取后续见解。


“当你看到一个仪表板上的数据异常时,你会立即提出三个不同的问题来了解发生了什么。当你提出这些问题时,分析师会介入,进行分析,并在大约一周内给出答案。但随后,你可能会有更多的后续问题,这可能会使分析循环保持开放状态,并减慢决策过程,”Gultekin 说道。


为了弥补这一差距,许多人开始探索大型语言模型的潜力,这些模型在解锁非结构化数据(如长篇 PDF 文档)中的见解方面表现出色。这个想法是将原始的结构化数据模式传递给模型,以便它们能够支持基于文本到 SQL 的对话体验,使用户能够即时与数据交谈并提出相关的业务问题。


然而,随着这些基于 LLM 的产品出现,Snowflake 发现了一个主要问题——准确性低。根据公司内部代表真实世界用例的基准测试,当直接使用像 GPT-4 这样的最先进模型时,分析见解的准确性约为 51%,而包括 Databricks 的 Genie 在内的专用文本到 SQL 部分则达到了 79% 的准确性。


“当你提出业务问题时,准确性是最重要的。51% 的准确性是不可接受的。我们通过一系列紧密协作的大型语言模型(用于 Cortex Analyst)几乎将这一比例提高了一倍,达到约 90%,”Gultekin 指出。


Cortex-Analyst-Benchmarks


当集成到企业应用程序中时,Cortex Analyst 会接收自然语言编写的业务查询,并将它们传递给位于不同层级的大型语言模型(LLM)代理,以根据Snowflake数据云中企业的数据,提供准确且无误导性的答案。这些代理处理不同的任务,从分析问题的意图并确定是否可以回答,到根据问题生成和运行 SQL 查询,并在将答案返回给用户之前检查其正确性。


“我们构建了系统,能够判断问题是否可以回答,或者是否因数据不可访问而模糊不清。如果问题模糊不清,我们会要求用户重新表述并提供建议。只有在确定大型语言模型可以回答该问题后,我们才会将其传递给一系列生成 SQL 的代理模型,这些模型会判断 SQL 是否正确,修正错误的 SQL,然后运行 SQL 以提供答案,”Gultekin 解释道。


AI 部门负责人没有透露为 Cortex Analyst 提供动力的模型的具体细节,但 Snowflake 已确认其正在使用自己的 Arctic 模型以及来自 Mistral 和 Meta 的模型组合。


那么,它的具体工作原理是怎样的呢?


为了确保Cortex Analyst背后的LLM代理能够理解用户数据结构的完整架构并提供准确、上下文感知的响应,公司在设置阶段要求客户提供其数据资产的语义描述。这解决了与原始架构相关的一个主要问题,并使模型能够捕获问题的意图,包括用户的词汇和特定术语。


“在实际应用中,您有数以万计的表和数以十万计的具有奇怪名称的列。例如,‘Rev 1’和‘Rev 2’可能是指收入的迭代。我们的客户可以在语义描述中指定这些指标及其含义,从而使系统在提供答案时能够使用它们,”Gultekin 补充道。


目前,该公司正在将 Cortex Analyst 作为 REST API 提供,可以将其集成到任何应用程序中,为开发人员提供了灵活性,可以根据业务用户的需求定制他们如何使用该服务以及如何与结果进行交互。还有使用 Streamlit 构建以 Cortex Analyst 为核心引擎的专用应用程序的选项。


在私人预览中,包括制药巨头拜耳公司在内的约 40-50 家企业部署了 Cortex Analyst 来与他们的数据进行交互并加速分析工作流程。随着企业继续专注于在不超出预算的情况下采用 LLM,预计公开预览将增加这一数字。该服务将使公司能够利用 LLM 进行分析,而无需经历所有实施麻烦和成本开销。


Snowflake 还确认,在未来几天内将提供更多功能,包括支持多轮对话以实现交互式体验以及支持更复杂的表和架构。

文章来源:https://venturebeat.com/data-infrastructure/snowflake-launches-cortex-analyst-an-agentic-ai-system-for-accurate-data-analytics/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消