谷歌开发AI系统Piano Genie,按几个按钮就能即兴创作音乐
2018年10月19日 由 浅浅 发表
630350
0
谷歌研究人员开发了一种新的基于深度学习的系统,任何人都可以像训练有素的音乐家一样弹钢琴。该系统名为Piano Genie,自动预测歌曲中下一个最可能的音符,使非专业音乐家能够实时创作新的原创音乐。
研究人员在他们的论文中指出:“虽然大多数人对音乐有天生的感觉和欣赏,但相对较少的人能够有意义地参与其创作。”
通过使用NVIDIA Tesla P100 GPU和cudnn加速的TensorFlow深度学习框架,研究小组用1400名熟练钢琴家的古典音乐表演进行了周期性神经网络训练。
“任何人可以操作一个系统,只需按一下按钮即可自动生成完整的歌曲,但这样可以消除对结果的任何所有权感。我们试图通过设计一个智能界面来回避这些障碍,这种界面采用人类提供的高级规格并将其映射到合理的音乐表中演,”研究人员在他们的论文中解释道。
[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/10/Piano-Genie-Improvisation-2.mp4"][/video]
该论文的主要作者Chris Donahue说,他受到了游戏“吉他英雄”的启发,这款游戏简化了演奏乐器的方法。Donahue和他的团队建立了一个自定义控制器,将钢琴的88个琴键缩小为8个按钮。
Piano Genie由一个离散的顺序自动编码器组成。双向RNN将单声道钢琴序列(88维)编码为较小的离散潜变量(此处显示为4维)。训练单向解码器以将潜伏者映射回钢琴序列。在推理期间,编码器被人类即兴创作按钮取代。
该团队选择了一种无人监督的策略来学习钢琴音符的映射。具体来说,他们使用自动编码器设置,其中编码器学习将钢琴的88键序列映射到8键序列。解码器学习将按钮序列映射回钢琴音乐。
研究人员表示,“系统是端到端训练,以尽量减少重建错误。在演出时,我们用用户的按钮代替编码器的输出,实时评估解码器,我们相信自动编码器框架是一种很有前途的方法,用于学习复杂界面和简单界面之间的映射,我们希望这项工作能够鼓励未来对这个空间进一步研究。”
论文:arxiv.org/pdf/1810.05246.pdf
代码:github.com/tensorflow/magenta/tree/master/magenta/models/piano_genie