利用LinkedIn的嵌入式架构助力职位搜索功能

2023年10月17日 由 alex 发表 307 0

最近几个月来,嵌入式已成为大型语言模型(LLM)应用中最重要的组成部分之一。行业细分,如矢量数据库已成为嵌入式架构的驱动机制。然而,嵌入式架构仍处于非常早期阶段,只有少数几家组织成功地在规模上实施了它们。最近,LinkedIn公布了关于他们使用基于嵌入式检索(EBR)技术改进其搜索和推荐系统的一些细节。


那么,什么是EBR?简单来说,它是推荐系统早期阶段使用的一种技术。它扫描大量项目(如职位招聘或动态文章),根据它们与给定请求的相似性来确定其中最相关的项目。可以将其视为在数字空间中找到“附近”项目的过程。一旦确定了这些项目,另一个人工智能模型对它们进行排序,以向用户呈现最相关的项目。


为了简化EBR的使用,领英推出了几个新工具和功能:


1)组合和多任务学习模型


LinkedIn现在支持创建组合模型,将各种目标合并到一个模型中。这加快了学习过程并增强了迁移学习。例如,一个嵌入式表示可能基于用户的个人资料和互动来捕捉其兴趣。这个嵌入式表示然后为搜索和推荐系统提供信息,确保用户看到真正与他们共鸣的内容。


1


2)Feature Cloud平台


LinkedIn推出了一个名为“Feature Cloud”的平台,将离线和实时的嵌入生成合并起来。该平台利用现有服务并协调各种任务,为在EBR索引和特性存储中使用准备嵌入。Feature Cloud可以用于在LinkedIn的搜索应用程序中提供许多不同类型的嵌入。


3)升级的托管搜索系统


LinkedIn的搜索系统兼容Lucene,现在支持自动嵌入版本管理和一系列的EBR算法。这种适应性在不断发展的EBR世界中至关重要。搜索系统与先前描述的特性云紧密集成。


2


4)自动嵌入版本管理


保证内容与搜索查询的意图一致至关重要。但管理嵌入版本可能会很复杂。例如,如果团队更新了嵌入模型,即使维度保持一致,它可能与现有的项目嵌入不匹配。LinkedIn的功能云支持对嵌入进行本地版本管理,确保更好地管理其生命周期。


5)模型云用于简化图推理编排


LinkedIn的“模型云”现在支持使用由Ray Serve提供支持的嵌入进行推理图。这简化了推理图的执行,减少了复杂工作流的需求,并确保版本一致性。结果是,AI专家可以更多地专注于提升用户体验,而不必过多关注基础设施管理。


3


6)提高求职精确度


提升工作搜索的精确性 搜索任务,尤其是工作搜索,需要精确结合用户数据、查询和上下文。在引入EBR之前,LinkedIn的工作搜索主要依赖文本匹配。虽然它提供了结果,但缺乏个性化和语义匹配的深度。通过引入EBR和新工具,LinkedIn提升了其匹配能力,为用户提供了更个性化和准确的工作搜索体验。


4


从本质上讲,LinkedIn正在推动人工智能和增强现实技术的边界,以确保用户获取最相关的内容,无论是工作推荐、动态内容还是通知。这个平台在不断努力改进和增强用户体验方面展现出创新的承诺。


文章来源:https://medium.com/towards-artificial-intelligence/inside-linkedins-embedding-architecture-powering-its-job-search-capabilities-d4dd61e8089b
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消