Google发布Magenta studio beta,一个面向音乐艺术家的开源python机器学习库

11月11日,Google Brain Team发布了Magenta studio beta版,它包含4个工具:Continue, Generate,Interpolate和GrooVAE,这是一套使用机器学习模型的免费音乐制作工具 。它是基于Magenta开源工具和模型构建的音乐插件集合。这些工具既可作为独立的Electron应用程序,也可作为Ableton Live的插件使用。

插件和独立应用程序执行相同的操作,唯一的区别是如何输入和输出MIDI:

  • Ableton Live插件从Ableton的Session View读取和写入剪辑。

  • 独立应用程序从文件系统读取和写入文件,而无需Ableton。

Continue

Continue使用递归神经网络(RNN)的预测能力来生成可能跟随您的鼓声或旋律的音符。给它一个输入剪辑,它可以扩展最多32个度量。这有助于为鼓节拍添加变化或为旋律音轨创建新材料。它通常会提取持续时间,关键签名和时间等内容,它可以通过提高温度来产生更多的随机输出。

Generate

Generate类似于Continue,但它生成一个4 bar的短语,无需输入。选择输出文件夹,变化数量,温度,然后单击“ 生成”。这有助于打破创意块或作为原始样本的灵感来源。

在引擎盖下,Generate使用了一种变分自动编码器(VAE) ,它已经训练了数百万个旋律和节奏,以学习音乐品质的概括表示。Generate选择这些总结质量的随机组合,并将其解码回MIDI以产生新的音乐文件。

Interpolate

与其他插件不同,Interpolate采用两个鼓节拍或两个旋律作为输入。然后它会生成多达16个文件,这些文件结合了这两个文件的质量。它对于合并音乐创意或在它们之间创建平滑变形很有用。

Interpolate也使用类似于 Generate的变分自动编码器(VAE)。考虑VAE的一种方式是从MIDI到压缩空间的映射,其中类似的音乐模式聚集在一起。每个输入模式都由此地图上的位置表示。Interpolate在这些位置之间绘制一条线,并沿此线返回剪辑。返回的文件数由“steps”滑块设置。

GrooVAE

GrooVAE调整输入鼓模式的时间和速度,以产生鼓手表现的“感觉”。这类似于“人性化”插件所做的,但以完全不同的方式实现。

谷歌在MIDI鼓组上录制了15个小时的真实鼓声。量化这些记录,去除所有速度和微量滴定,并用于训练神经网络以预测未量化的节拍作为输出。这类似于谷歌自动语言翻译中使用的方法 ,但正在从量化的鼓模式转换为人类表演。

下载链接:https://magenta.tensorflow.org/studio/ableton-live

分享干货

50年间,中国各省学者数量是如何变化的?

50年间,全球各国学者数量是如何变化的?

第四期】20篇强化学习论文总结(附下载链接)

解读|阿里、腾讯和百度发表于KDD2018上的论文(含附录)

解读| 带你走进Curriculum Learning和Self-paced Learning的世界

第52届超级计算机TOP500排行榜发布,中国拥有229台,占比45.8%

CNCC2018技术论坛|6场报告引爆“认知图谱与推理”现场

CNCC2018|图灵奖获得者Robert E.Kahn谈“数字对象与互联网发展”

Yoshua Bengio-《深度学习AI迈向人类水平的挑战》(内含福利)

AI领域未来几年最引人瞩目的新方向是什么?

学术头条

发掘科技创新的原动力

(0)

相关推荐