Runway宣布与意大利音乐科技公司 Musixmatch 合作。后者为 Spotify、Apple Music、Amazon Music、Facebook、Instagram、Tidal、Vevo 等平台提供设备端实时同步的歌词服务。
该合作将使超过 100 万名使用 Musixmatch 的音乐家和艺术家能够接触到 Runway 的最新、最强大的人工智能视频生成模型 Gen-2,该模型已逐步升级,增加了诸如多动作画笔和区域选择器等功能。
Runway称此次合作的目的是“允许创作者通过动态视频内容,以符合其创意愿景的方式,大规模地将他们的歌曲呈现为生动形式”。
换句话说,音乐家现在可以使用 Gen-2 生成与他们的歌曲歌词同步的人工智能视频,然后利用 Musixmatch 的平台将这些视频与他们的歌曲同步,从而加快“歌词视频”的制作速度。歌词视频是一种流行的视频类型,它以符合音乐节奏的方式显示歌曲的歌词,并以环境视觉为背景,而不是像全长音乐视频那样展示艺术家、乐队或角色。
根据 Runway 的一位发言人通过电子邮件表示,虽然用户可以使用文本或图像来提示 Gen-2,但“歌词到视频”功能将理解艺术家的歌词,以简化生成和提示过程。
然而,这一功能仅对注册了 Musixmatch Pro 订阅服务的艺术家开放,该服务的起价为每月 2.99 美元(按年计费为 36 美元)。用户无需拥有 Runway 账户,也无需支付 Runway 的单独订阅费用——新功能将直接在 Musixmatch Pro 中提供,Runway 的一位发言人通过电子邮件表示。视频生成后,用户可以将其下载或发布到其他平台,例如他们的社交账号。
已经有一些艺术家通过 Musixmatch 获得了 Gen-2 访问权限来制作歌词视频,包括亚特兰大的迷幻嘻哈组合 Earthgang,他们使用 Runway 的人工智能和 Musixmatch 的歌词同步软件为他们的歌曲《Osmosis》制作了视频。
音乐天堂的完美组合?
Runway 首席执行官 Cristobal Valenzuela 在新闻稿中表示:“我们很高兴能够将 Runway 的模型和创意经验直接交给 Musixmatch 独特艺术家和音乐家社区的手中。Runway 的模型和工具将帮助这些艺术家扩展他们通过视频表达创意愿景的方式,并帮助他们与全球各地的听众和观众建立更深的联系。”
“我们见证了人工智能带来的一种新型创造力,简而言之,就是‘不同凡响’。”Musixmach 产品负责人 Marco Paglia 说道,这暗指了苹果著名的口号。“如今,我们才华横溢的作曲家和音乐家在制作视频时,有了一个新助手,该助手由 Musixmatch 提取歌词意义的能力和 Runway 顶级生成视频模型的独特能力提供支持。这将使更多的音乐创作者能够制作视频,并推动该领域的持续创新。如果这只是第一天,我已经迫不及待想要看到未来会是什么样子了。”
Runway 的一位发言人称,两家公司之间的合作“相互感兴趣”,而且他们并没有因为这次合作而共享用于人工智能训练的数据。交易的财务条款没有披露。
知名艺术家已经在使用人工智能,结果各不相同。
包括 A$AP Rocky、Madonna、Ye(前名 Kanye West)以及 Jared Leto 的摇滚乐队 30 Seconds to Mars 在内的许多知名艺术家都已经使用了人工智能视频生成程序——在某些情况下,他们使用的是 Runway 本身——来制作音乐视频或演唱会背景视频。
另外值得一提的是,说唱歌手 Nicki Minaj 在 X 上与用户就她使用 AI 生成静态图像来宣传她的专辑《Pink Friday 2》一事展开了互动。
显然,音乐界的一些知名人士已经开始采用人工智能来为他们的音乐提供视觉效果,而 Runway 也明智地通过此次最新合作,使这一操作变得更加简单。