由于3D打印机的价格变得更加便宜且更加普及,新手制造者正在一个迅速增长的社区内制造自己的物品。为此,许多业余工匠使用免费的开源3D模型库,下载并在3D打印机上制作自己的3D模型。
然而,对这些模型添加定制设计元素对许多制造者来说是一项艰巨的挑战,因为这需要使用复杂且昂贵的计算机辅助设计(CAD)软件,并且如果原始模型的表示不在网上,这尤其困难。此外,即使用户能够向物体添加个性化元素,确保这些定制不会影响到物体的功能性,对许多新手制造者来说需要额外的领域专业知识。
为帮助制造者克服这些挑战,麻省理工学院的研究人员开发了一种生成式AI工具,使用户能够在3D模型上添加自定义设计元素,而不会影响到所制造物体的功能性。设计师可以利用这款名为Style2Fab的工具,只需使用自然语言提示来描述想要的设计,就能够个性化3D物体模型,然后使用3D打印机制造这些物体。
计算机科学研究生、Style2Fab论文的主要作者Faraz Faruqi表示:“对于经验较少的人来说,他们面临的基本问题是:在下载了模型之后,只要想对其进行任何修改,他们就会不知所措,不知道该怎么做。Style2Fab可以使给3D模型添加风格并进行打印变得非常容易,使用它的过程中人们还可以进行实验和学习。”
Style2Fab采用了深度学习算法,能够自动将模型划分为美学和功能性的部分,简化设计过程。
除了给初学者设计师提供帮助,使3D打印更加易于操作,Style2Fab还可以在医学制造领域中发挥作用。研究表明,同时考虑辅助装置的美学和功能特性可以增加患者使用的可能性,但临床医生和患者可能没有个性化3D打印模型的专业知识。
借助Style2Fab,用户可以根据自己的需求定制外形,使拇指夹板与自己的衣服相融合,而不会改变医疗设备的功能。法鲁奇补充说,为日益发展的自助式技术领域提供用户友好的工具是这项工作的主要动力。
他与他的导师、共同作者Stefanie Mueller教授一起撰写了这篇论文。Mueller是麻省理工学院电气工程与计算机科学系和机械工程系的副教授,也是计算机科学与人工智能实验室(CSAIL)的成员,负责人机交互工程组。共同作者还包括诺桑比亚大学Khoury计算机科学学院的助理教授Megan Hofmann,以及该研究组的其他成员和前成员。这项研究将在ACM用户界面软件和技术研讨会上进行介绍。
专注于功能性
像Thingiverse这样的在线储存库允许人们上传用户创建的开源数字设计文件,供其他人下载并使用3D打印机制造。
Faruqi及其合作者开始这个项目时,研究了这些庞大储存库中可用的物体,以更好地了解不同3D模型中存在的功能。他表示,这将使他们更好地了解如何使用AI将模型划分为功能性和美学性的组成部分。
他说:“我们很快就发现,一个3D模型的目的非常依赖于其背景,比如一个花瓶可能是扁平放在桌子上,也可能是悬挂在天花板上。因此,不能仅靠AI来判断物体的哪一部分具有功能性。我们需要一个使AI与人类合作的环境。”
基于此评估,他们定义了两种功能:外部功能,涉及与外界相互作用的模型部分;内部功能,涉及到制作后需要相互嵌合的模型部分。
在保证几何结构的外部和内部功能部分的同时,一个风格化的工具需要使非功能性的美学片段可进行个性化定制。
但是,为了做到这一点,Style2Fab必须找出3D模型中哪些部分具有功能性。该系统利用机器学习来分析模型的拓扑结构,以跟踪几何形状的变化频率,例如曲线或连接两个平面的角度。基于此,它将模型划分为若干部分。
然后,Style2Fab将这些部分与研究人员创建的数据集进行比较,该数据集包含了294个3D物体模型,每个模型的部分都标有功能或美学标签。如果一个部分与其中一部分非常相似,就被标记为功能性。
他解释说:“但是,仅仅基于几何形状来分类部分是一个非常困难的问题,因为共享的模型存在巨大的变化。因此,这些部分只是一组最初的建议,向用户显示,并且用户可以很容易地更改任何部分的分类,将其分类为美学或功能性。”
与AI互动
一旦用户接受划分结果,他们可以使用自然语言提示来描述自己期望的设计元素,比如“一个粗糙的、多色的中国风花盆”或者一个“摩洛哥艺术风格的手机壳”。然后,一种名为Text2Mesh的AI系统尝试确定满足用户要求的3D模型的外观。
Text2Mesh在Style2Fab中处理模型的美学部分,添加纹理和颜色,或者调整形状,使其尽可能地与用户的要求相似。但功能部分是不可修改的。
研究人员将所有这些元素封装到用户界面的后端中,该界面根据用户的点击和输入自动对模型进行划分和风格化。
研究人员与具有各种3D建模经验的工匠进行了一项研究,发现Style2Fab在不同级别的制造者能够以不同方式发挥作用。新手用户能够理解并使用界面,对设计进行个性化,同时也提供了一个低门槛的实验平台。
对于有经验的用户来说,Style2Fab有助于加速工作流程。此外,一些高级选项使他们对风格化具有更细致的控制。
未来,Faruqi及其合作伙伴希望扩展Style2Fab,使该系统可以对物理特性和几何形状进行更细致的控制。例如,改变一个物体的形状可能会改变其承受的力量大小,这可能会导致在制作过程中出现故障。此外,他们还希望增强Style2Fab,使用户能够在系统内生成自己定制的3D模型。研究人员还与谷歌合作进行了后续项目。