苹果新AI框架UI-JEPA:重塑iPhone体验

2024年09月11日 由 daydream 发表 146 0

苹果公司的科研团队创新性地研发了UI-JEPA(用户界面联合嵌入预测架构)这一新型AI技术框架,它仿佛为未来的iPhone功能揭开了神秘面纱的一角。这项技术能根据用户的操作习惯,精准预测用户在手机上的下一步行动,让人眼前一亮。


微信截图_20240911103605


当前,诸如GPT-4 Turbo或Claude 3这样的顶尖多模态模型,虽然功能强大,但依赖大量计算资源,若通过手机API调用远程服务器,不仅会加速电池消耗,拖慢操作速度,还可能带来隐私泄露的风险。而UI-JEPA的亮点在于它完全本地化运行于用户设备之上,实现了既快速又安全的操作预测,效率远超现有顶尖系统,功耗更低,速度提升约50倍,堪称科技界的一大飞跃。


为了验证UI-JEPA的实力,苹果精心构建了两组数据集:“野生意图”包含1700个视频,覆盖219种随机手机任务类别,全面考验其泛化能力;“驯化意图”则聚焦于10类常见任务,包含914个标注视频,专注于细节优化。在这些挑战下,UI-JEPA的表现令人瞩目,其意图相似度得分平均超越了GPT-4 Turbo和Claude 3.5 Sonnet等业界佼佼者,分别高出10.0%和7.2%,且占用空间更小,尽显高效能优势。


微信截图_20240911104817


对于广大用户而言,这项技术将如何重塑iPhone的使用体验呢?首先,Siri将变得更加善解人意。UI-JEPA的加持下,Siri不仅能准确捕捉你的意图,还能在互动中不断学习和优化,即使你表达不清,它也能逐渐理解你的需求。更重要的是,这一切都在本地完成,无需上传个人数据至云端,保护了你的隐私安全。


此外,UI-JEPA还能跨应用追踪你的操作轨迹。比如,在规划旅行时,它能在你穿梭于日历、旅行APP和笔记之间时,洞悉你的整体计划,并据此提供个性化的建议,让手机真正成为你的智能助手。


当然,作为一项前沿研究,UI-JEPA目前还面临一些挑战,比如对新应用或任务的适应性有限,且尚未全面支持语音命令。但苹果已明确表示,他们正致力于解决这些问题,不断优化技术。


展望未来,UI-JEPA或将开启智能手机真正理解用户的新时代。它们将不再只是冷冰冰的工具,而是能够读懂你心思的伙伴,让数字生活变得更加轻松惬意。不过,需要提醒的是,这项技术的成熟应用尚需时日,我们或许还无法在即将发布的iPhone 16中直接体验到它的魅力。

文章来源:https://www.maginative.com/article/apples-future-iphones-may-know-what-you-want-before-you-do/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消