有创造力的艺术家从事代码工作。他们使用诸如Processing或AI文本到图像工具之类的编程语言,将富有表现力的语义转换为代码行,从而形成漩涡状、彩色图案或超现实主义景观。
但是,编码艺术是一个耗时且复杂的过程。虽然铅笔的橡皮擦可以修正错误的线条,或者一点黄色可以照亮画作中的暗天际线,但改进生成艺术需要通过多次迭代来进行试错,而这常常是一个令人沮丧的过程。
在采访了专业数字艺术家后,斯坦福学者们开发了一个名为Spellburst的工具,以改进创意构思和编辑过程。
斯坦福教育研究生院助理教授、斯坦福人机协同智能研究所研究员Hariharan Subramonyam表示:“将艺术家的想象转化为代码需要很长时间,而且非常困难。”
“大型语言模型能够为您提供一个良好的起点。但是当艺术家想要探索不同的质地、不同的颜色或图案时,他们希望能够进行更精准的控制,而这是大型语言模型所无法提供的。Spellburst本质上帮助艺术家在语义空间和代码之间无缝切换。”
Spellburst使用了大型语言模型GPT-4,允许艺术家输入一个初始提示,比如“一幅美丽明亮的玻璃花窗图像”。然后模型会生成用于呈现该概念的代码。但是如果花朵太粉红,或者玻璃花窗看起来不对劲呢?艺术家可以打开一个动态滑块面板,根据先前的提示来改变图像的任何方面,或者添加修改说明(“将花朵变成深红色”)。
这些创作者可以合并不同的版本(“将第4版的花朵颜色与第9版的花瓶形状相结合”)。该工具还允许艺术家从基于提示的探索过渡到程序编辑,他们可以点击图像以显示代码,从而进行更精细的微调。
为了更好地设计Spellburst,研究团队采访了10位专业创意编码者,了解他们如何开发概念、创作工作流程以及他们所面临的最大挑战。随后,该团队与专业生成艺术家一起对该工具进行了测试。
Subramonyam表示:“反馈总体上非常积极。大型语言模型帮助艺术家更快地从语义空间过渡到代码,而且它也有助于他们探索许多不同的变体并取得更大的创造性飞跃。”
当然,该工具自身也有一些局限性。研究团队在一些提示中看到了错误和意外结果,特别是在版本合并中,并且不清楚哪些提示会产生所期望的结果。此外,提供反馈的艺术家样本量较小,不能代表整个生成艺术家群体。
但Subramonyam表示,希望这个工具对编码艺术家甚至更广泛的用户群体有所帮助。
“我们希望今年晚些时候向艺术家们开源这个工具,让他们开始使用它,并且我们还希望研究这样的工具如何帮助新手学习如何用代码创建艺术。”