谷歌机器学习模型新进展:生成时长更长且连贯的音乐
2018年12月17日 由 浅浅 发表
715411
0
谷歌的歌曲创作AI虽然还无法与莫扎特或李斯特相提并论,但它最近取得了令人印象深刻的进展。作为Google Brain“探索机器学习作为创作过程中的工具的角色”Magenta项目的一部分,在博客文章和随附的论文“Music Transformer”中,研究者介绍了Musical Transformer,这是一种机器学习模型,能够产生具有可识别的重复的相对连贯的曲调。
论文作者写道,“Transformer是一种基于自我注意的序列模型,在许多需要保持长时程一致性的生成任务中取得了令人瞩目的成果,这表明自我注意也可能非常适合音乐建模。”
正如团队解释的那样,由于其结构复杂性,制作长时程的音乐对于AI仍是不小的挑战; 大多数歌曲包含多个主题,短语和重复,神经网络很难接受。虽然以前的工作设法引导了一些由人类组成的作品中的自我参考可观测量,但它依赖于绝对定时信号,使其不适合跟踪基于相对距离和重复间隔的主题。
该团队的解决方案就是Music Transformer,基于注意的神经网络,可直接创建“富有表现力”的表演而无需先生成乐谱。
通过使用基于事件的表征和相对注意的技术,Music Transformer不仅能够更多地关注关系特征,而且能够超出训练样本的长度。而且由于它的内存密集程度较低,因此它还能够生成更长的音乐序列。
在测试中,当使用肖邦的Black Key Etude进行准备时,Music Transformer制作了一首风格一致的歌曲,其中包含多个来自该主题的短语。相比之下,Performance RNN和Transformer这两种过去的算法,要么完全缺乏可辨别结构,要么无法保持结构一致。
但该团队也承认Music Transformer还达不到完美,它有时会重复次数过多,部分又过于稀疏,但他们希望它能成为音乐家需要灵感时的帮手斯。
该团队表示,这为用户提供了一种可能性,他们可以指定开头,并将模型作为一种创造性工具来探索一系列可能的延续。
另外,训练和生成Music Transformer的代码,以及预先训练的检查点即将开放。
博客:magenta.tensorflow.org/music-transformer
论文:arxiv.org/abs/1809.04281