总部位于纽约的Runway,这是一家生成式AI创业公司,它可以让个人和企业制作不同风格的视频。近期,它更新了它的Gen-2基础模型,增加了一个新的工具,Muti Motion Brush ,它可以让创作者给他们的AI视频创作添加多个方向和类型的运动。
这是一个商业可用的AI视频项目的首创:目前市场上的所有其他竞争产品都只是用AI给整个图像或选定的高亮区域添加运动,而不是多个区域。
该产品建立在 2023 年 11 月首次推出的Motion Brush功能的基础上,该功能允许创作者一次只能在他们的视频中添加一种类型的动作。
Muti Motion Brush在今年早些时候通过Runway的创意合作伙伴计划进行了预览,该计划奖励了一些选定的高级用户,为他们提供了无限的计划和预发布的功能。但现在,它对Gen-2的每个用户都可用,为创意视频制作者提供了30多个工具。
这一举措加强了该产品在快速增长的创意AI市场中的地位,该市场还包括了像Pika Labs和Leonardo AI这样的玩家。
可以从Muti Motion Brush中期待什么?
Muti Motion Brush的想法很简单:通过让用户可以给他们选择的区域添加独立的运动,来给用户更好的控制他们生成的AI视频。
这可以是任何东西,从脸部的运动到天空中云彩的方向。
用户首先上传一张静止的图像作为提示,然后用他们的电脑光标控制的数字刷来“绘制”它。
用户然后使用Runway的网页界面中的滑块控件来选择他们想要图像中被绘制部分的运动方向和强度(强度),并且多种颜色的画笔都可以独立控制。
用户可以调整水平、垂直和近远滑块来定义运动应该执行的方向 - 左/右、上/下或者近/远 - 然后点击保存。
“每个滑块都用一个从-10到+10的小数点值来控制。你可以手动输入数值,左右拖动文本框或者使用滑块。如果你需要重置所有的东西,点击‘清除’按钮把所有的东西都重置回0。”Runway在它的网站上说明。
Gen-2一直在改进控制
Muti Motion Brush的引入增强了Runway提供的用于控制Gen-2模型视频输出的工具集。
Gen-2最初于2023年3月推出,它引入了基于文本、视频和图像的生成,并且是对只支持基于视频的输出的Gen-1的重大升级。
然而,在初始阶段,它只能生成最多四秒的片段。这一情况在8月份发生了变化,当时该公司增加了将片段延长到18秒的能力。
它还推出了一些额外的功能,比如“导演模式”,允许用户选择生成视频中的相机运动的方向和强度/速度,以及选择视频要生成的风格的选项 - 从3D卡通和渲染到电影和广告。
在AI驱动的视频生成领域,Runway与像Pika Labs这样的玩家竞争,后者最近推出了它的用于视频生成的网络平台Pika 1.0,以及Stability AI的稳定视频扩散模型。
该公司还提供了一个文本到图像的工具,它与像Midjourney和DALL-E 3这样的产品相竞争。然而,需要注意的是,虽然这些工具的输出随着时间的推移有所改进,但它们仍然不完美,可能会生成模糊、不完整或不一致的图像/视频。