利用AI分离歌曲中的人声和伴奏

2019年11月06日 由 KING 发表 752123 0

对于音乐制作人以及任何想使用隔离音频进行演奏的人来说,将歌曲拆分为单独的人声和伴奏一直是头疼的问题。目前有很多方法可以执行此操作,但是过程都很耗时,并且结果通常有很多缺陷。新的开源AI工具使这项棘手的任务变得更快,更轻松。


该软件称为Spleeter,由音乐服务公司Deezer开发。昨天,该公司以开源软件包的形式发布了该代码,并将代码放在Github上,供所有人下载和使用。只需向Spleeter提供一个音频文件,它就会将文件分为两个、四个或五个独立的音轨,称为茎。在专用GPU上运行时,它可以将音频文件分成四个茎,比实时速度快100倍。您可以在下面收听David Bowie的“ Changes”上工作的软件示例。仅有人声和只带伴奏的声音都有一些音频伪像,但总体效果令人赞叹。


[audio mp3="https://www.atyun.com/uploadfile/2019/11/marvin_gaye_music.mp3"][/audio]

[audio mp3="https://www.atyun.com/uploadfile/2019/11/marvin_gaye_vocals.mp3"][/audio]

技术专家Andy Baio撰写了一篇有关Spleeter的博客,其中包含许多例子。Baio表示,该软件产生的孤立人声有时会获得机器人自动调整的感觉,但相对于其他解决方案,其效果已经很逼真了。”


下面是Baio生成的示例,其中Spleeter在Marvin Gaye的“ I Heard”上运行。


[video width="360" height="360" mp4="https://www.atyun.com/uploadfile/2019/11/videoplayback.mp4"][/video]

该软件功能确实很强大,但需要一些专业的技术知识才能使用它。除非你定期使用Python或Google的AI工具包TensorFlow(用于训练Spleeter)之类的软件,否则必须下载一些程序才能启动和运行Spleeter。而且必须使用命令行输入而不是更易于访问的可视界面。


Deezer指出,这不是人们第一次使用机器学习来自动执行此类任务,并且该公司之前已经有了许多早期研究的基础。Deezer的首席数据和研究官Aurelien Herault表示:该公司在20000种音乐曲目上使用各种类型的预分离人声对其软件进行了培训。通过此信息,该软件学习了如何隔离轨道本身。


[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2019/11/Using-AI-to-pull-music-apart-into-instruments.-Spleeter-5-stem-recombined-audio-Part1-of-3.mp4"][/video]

Herault说:Deezer本身将Spleeter用于一系列研究应用程序,以帮助改善其流媒体服务。在内部,我们将其用作预处理工具,以完成诸如音乐分类,转录和语言检测之类的复杂研究任务 。


在另一方面,Spleeter也成功的说明了AI工具如何使复杂的创意工作变得更简单。机器学习目前正用于自动执行一系列耗时的任务,从删除图片上的背景到升级旧视频游戏中的纹理。从Adobe的Photoshop到Runway ML之类的新领域,这些工具越来越多地被并入软件。


Deezer说,他们没有将Spleeter变成一个付费工具的计划,但是其他人可以完成和他们同样的工作。对于希望将独立的人声整合到混音中的音乐制作人,或者希望创建自制卡拉OK伴奏音轨的人来说,Spleeter是他们的不二选择。


Github代码链接:https://github.com/deezer/spleeter

欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消