Stability AI推出Stable Audio 2.0:AI音乐创作新突破

2024年04月04日 由 daydream 发表 238 0

Stability AI发布了Stable Audio 2.0,这是其能够生成音乐和音效的AI模型的最新版本。这次迭代引入了一系列新特性和功能,让艺术家和音乐家能够以前所未有的轻松和灵活性创作高质量、完整的曲目。


微信截图_20240404095857


Stable Audio 2.0最显著的进步之一是它能够生成长达三分钟的歌曲,包括完整的结构化作品,有引子、发展和尾声,以及立体声音效。这使得Stable Audio 2.0与其他最先进的模型不同,因为它可以产生与人类创作曲目非常相似的连贯音乐结构。


除了文本到音频的功能外,Stable Audio 2.0现在还支持音频到音频的生成。用户可以上传自己的音频样本,并使用自然语言提示对它们进行转换,从而开启了一个充满创意可能性的世界。此功能允许用户自定义输出的主题,使其与项目的特定风格和基调保持一致。


新模型还增强了从敲击键盘的声音到人群的喧哗声或城市街道的嗡嗡声等音效的制作。这一功能为提升音频项目和创造沉浸式体验提供了新的方式。


为了实现这些令人印象深刻的效果,Stable Audio 2.0的潜在扩散模型经过专门设计,能够生成具有连贯结构的完整曲目。该架构采用了一种新的高度压缩的自动编码器,该编码器将原始音频波形压缩成更短的表示形式。对于扩散模型,使用了与之前U-Net类似的扩散变压器(DiT),类似于Stable Diffusion 3中使用的变压器,因为它更擅长处理长序列数据。


微信截图_20240404095932


Stability AI还优先考虑保护创作者权利和确保公平补偿。该模型专门在AudioSparx音乐库的授权数据集上进行训练,该数据集包含80多万个音频文件。AudioSparx的所有艺术家都可以选择“退出”Stable Audio模型的训练。此外,为了保护上传音频的创作者版权,Stability AI与Audible Magic合作,利用其内容识别(ACR)技术进行实时内容匹配,防止版权侵权。


Stable Audio 2.0可以在Stable Audio网站上免费使用,并且很快将通过Stable Audio API进行访问。Stability AI表示,他们将在未来发布一篇包含模型额外技术细节的研究论文。

文章来源:https://www.maginative.com/article/stability-ai-unveils-stable-audio-2-0/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消