阶跃星辰发布了其最新的开源图生视频模型——Step-Video-TI2V。该模型基于30B参数的Step-Video-T2V视频生成模型训练而成,能够生成102帧、时长5秒、分辨率为540P的视频。
Step-Video-TI2V模型具备两大核心特点:运动幅度可控和镜头运动可控。为实现运动幅度可控,模型在训练过程中通过AdaLN模块引入了视频动态性打分信息,使用户能够在生成视频时指定不同的运动级别,从而精准控制视频的动态幅度,平衡视频的动态性、稳定性和一致性。此外,模型还支持对多种运镜的理解和控制,能够生成大片级的运镜效果。
在数据优化方面,Step-Video-TI2V对主体动作和镜头运动进行了专项精准标注,使其在主体动态性和运镜效果上表现更为出色。同时,该模型在动漫类任务上展现出优异的效果,非常适用于动画创作和短视频制作等应用场景。
除了上述特点,Step-Video-TI2V还支持多种尺寸的图生视频生成,满足用户在不同创作需求和平台特性下的自由选择。此外,该模型已初步具备一些特效生成能力,未来有望通过LoRA等技术进一步解锁其特效潜力。
目前,Step-Video-TI2V模型已完成与华为昇腾计算平台的适配,并在魔乐社区(Modelers)上线,供用户体验和使用。