苹果AI团队推出新型深度感知模型Depth Pro

2024年10月09日 由 daydream 发表 177 0

苹果公司的AI研究团队近期开发了一种新型模型Depth Pro,该模型在机器感知深度方面取得了显著进展,有望对增强现实、自动驾驶汽车等多个行业产生深远影响。


微信截图_20241009102552


Depth Pro系统能够从单张二维图像中快速生成详细的3D深度图,整个过程仅需几分之一秒,且无需依赖传统上用于此类预测的相机数据。这一技术在题为《Depth Pro:在不到一秒内实现精准的单目度量深度》的研究论文中得到了详细介绍,标志着单目深度估计领域取得了重大突破。单目深度估计是指仅使用一张图像来推断深度的过程。


微信截图_20241009102610

Depth Pro模型由Aleksei Bochkovskii和Vladlen Koltun等人创建,能够在标准图形处理器(GPU)上于0.3秒内生成高分辨率的深度图。这些深度图具有225万像素,细节表现极为出色,甚至能捕捉到头发和植被等微小细节,而这些细节往往被其他方法所忽视。


该模型的技术亮点之一是其能够同时处理图像的整体上下文和精细细节,这得益于其高效的多尺度视觉变换器架构。这一架构使得Depth Pro在处理速度和准确性上远超之前的模型。


微信截图_20241009102618


Depth Pro的另一大特点是能够同时估计相对深度和绝对深度,即“度量深度”。这意味着该模型能够提供真实世界的测量数据,这对于增强现实(AR)等应用至关重要,因为AR应用需要将虚拟对象精确放置在物理空间中的特定位置。


此外,Depth Pro还具有“零样本学习”的能力,即无需在特定领域的数据集上进行大量训练就能做出准确预测。这一特性使得该模型具有高度的通用性,可以应用于各种图像,而无需通常用于深度估计模型的相机特定数据。


苹果公司已将Depth Pro开源,代码和预训练模型权重可在GitHub上获取。此举有望加速该技术的采用,并允许开发人员和研究人员对其进行实验和进一步优化。


Depth Pro的潜在应用广泛,包括电子商务、自动驾驶汽车等多个行业。例如,在电子商务领域,Depth Pro可以让消费者只需用手机摄像头对准房间,就能看到家具在家中摆放的效果。在汽车行业,该模型能够从单个相机实时生成高分辨率的深度图,从而改善自动驾驶汽车对环境的感知能力,提升导航和安全性能。


Depth Pro还解决了深度估计中的一个难题,即处理所谓的“悬浮像素”——由于深度映射错误而看似悬浮在空中的像素。这一特性使得Depth Pro在3D重建和虚拟环境等应用中表现出色,因为这些应用对准确性要求极高。


苹果研究团队鼓励进一步探索Depth Pro在机器人技术、制造业和医疗保健等领域的潜力。随着人工智能不断突破界限,Depth Pro在单目深度估计的速度和准确性方面树立了新的标准。其从单张图像中生成高质量实时深度图的能力,有望在依赖空间感知的行业中产生广泛影响。

文章来源:https://venturebeat.com/ai/apple-releases-depth-pro-an-ai-model-that-rewrites-the-rules-of-3d-vision/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消