您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
全新AI模型“Upscale-A-Video”推动实景视频高分辨率革新
2023年12月13日 由 daydream 发表
468
0
新加坡南洋理工大学的研究人员发表的一篇新论文介绍了一种革命性的视频提升方法，该方法利用了扩散模型的生成能力。这种方法被称为Upscale-A-Video，它为提高实际视频的质量和真实感设定了新的标准。
Upscale-A-Video的核心是一个巧妙的文本引导的潜在扩散框架，专门为视频处理的独特需求量身定制。它解决了这一领域最困难的挑战之一：在扩散模型固有的随机性面前保持保真度和时间上的连贯性。
研究人员通过一种局部-全局时间策略来实现这一点。在局部处理中，该模型对一个带有专门时间层的U-Net和VAE-Decoder进行微调，以保持短片段的稳定性。在全局处理中，引入了一种新颖的无需训练的循环传播模块，以增强跨多个片段长序列的连贯性。
这种先进的方法还为视频提升提供了异常的灵活性。用户可以提供文本提示来引导生成与视频内容匹配的逼真细节和纹理。该框架还允许在扩散过程中调整噪声级别，以根据需要在恢复和生成之间取得平衡。在保持忠实度与提升视频质量之间实现理想的权衡是关键。
广泛的实验表明，Upscale-A-Video在合成和实际世界的基准测试中显著超越了现有的最先进方法。无论是在合成视频还是在现实世界视频的基准测试中，以及在AI生成的视频中，它都一直表现出众。这些结果突出了它在提供令人印象深刻的视觉真实性和保持时间连贯性方面的优越性。
在实际应用中，Upscale-A-Video开辟了一系列可能性。它可以在专业视频编辑领域成为改变游戏规则的工具，在该领域经常需要高质量的视频提升。它还可以彻底改变用户生成内容的增强方式，使高质量的视频提升变得更加易于使用和用户友好。
文章来源：https://www.maginative.com/article/upscale-a-video-is-a-new-ai-model-for-real-world-video-super-resolution/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消