微软推出Azure Cognitive Search矢量搜索功能
2023年07月24日 由 Samoyed 发表
253350
0
在一年一度的Inspire大会上,微软宣布Azure Cognitive Search的矢量搜索公开预览,Azure Cognitive Search是用于构建由大型语言模型驱动的应用程序的功能。Azure Cognitive Search的矢量搜索这是一种从搜索索引中索引、存储和检索向量嵌入的新功能。
微软通过Azure Cognitive Search的矢量搜索功能使用机器学习来捕获非结构化数据(包括图像和文本)的含义和背景,以提高搜索速度。
Azure Cognitive Search的首席产品经理Liam Cavanagh在一篇科技社区博客文章中解释道:
“矢量搜索是一种在各种数据类型中搜索信息的方法,包括图像、音频、文本、视频等。它根据数据的数值表示的相似性来确定搜索结果,称为矢量嵌入。与关键字匹配不同,矢量搜索通过比较查询的矢量表示和内容来为用户查找相关结果。Azure OpenAI Service text-embeddings-ada-002 LLM是一个强大的嵌入模型的例子,它可以将文本转换为矢量以捕获其语义。”
用户可以利用该特性进行相似度搜索、多模式搜索、推荐引擎或实现检索增强生成(RAG)体系结构的应用程序。集成大型语言模型(LLM)与自定义数据的需求不断增长,这推动了后者的发展。例如,用户可以使用Vector搜索检索相关信息,分析和理解检索到的数据,并根据LLM的功能生成智能响应或操作。
微软的杰出工程师Pablo Castro在LinkedIn上解释道:
“矢量搜索在使用检索增强生成(RAG)模式的生成式人工智能应用程序中也起着重要作用。检索系统的质量对于这些应用程序响应来自知识库的特定数据的能力至关重要。Azure Cognitive Search现在不仅可以作为纯矢量数据库用于这些场景,还可以用于混合检索,以提供最好的矢量和文本搜索,您甚至可以通过启用它来重新排序步骤以获得更好的质量。”
由于矢量搜索是认知服务的一部分,它带来了一系列额外的功能,包括分面导航和过滤器。此外,通过使用Azure Cognitive Search的Indexer,用户可以从各种Azure数据存储(如Blob Storage, Azure SQL和Cosmos DB)中提取数据,以丰富统一的人工智能驱动应用程序。
据该公司介绍,与Azure人工智能集成的矢量搜索的一些用例如下:
1、使用Azure OpenAI服务的支持搜索、基于聊天的应用程序。
2、使用Azure AI Vision将图像转换为矢量表示,以实现准确、相关的文本到图像和图像到图像的搜索体验。
3、快速准确地从大型数据集中检索相关信息,以实现流程和工作流自动化。
矢量化技术在搜索领域越来越受欢迎。它包括将单词或图像转换为数字矢量,对其语义进行编码,并促进数学处理。通过将数据表示为矢量,机器可以组织和理解信息,迅速识别矢量空间中相邻的单词之间的关系,并迅速从包含数百万单词的庞大数据库中检索它们。
亚马逊和谷歌在他们的产品中使用了这种技术。例如,例如,谷歌在Vertex AI Matching Engine以及Cloud SQL和AlloyDB等托管数据库中使用了该技术。与此同时,亚马逊将其引入了OpenSearch。
来源:https://www.infoq.com/news/2023/07/microsoft-launches-vector-search/?topicPageSponsorship=be5ab845-3650-4ca6-b998-6e258cb0cba1&itm_source=presentations_about_ai-ml-data-eng&itm_medium=link&itm_campaign=ai-ml-data-eng