Google发布Magenta studio beta,一个面向音乐艺术家的开源python机器学习库
11月11日,Google Brain Team发布了Magenta studio beta版,它包含4个工具:Continue, Generate,Interpolate和GrooVAE,这是一套使用机器学习模型的免费音乐制作工具 。它是基于Magenta开源工具和模型构建的音乐插件集合。这些工具既可作为独立的Electron应用程序,也可作为Ableton Live的插件使用。
插件和独立应用程序执行相同的操作,唯一的区别是如何输入和输出MIDI:
Ableton Live插件从Ableton的Session View读取和写入剪辑。
独立应用程序从文件系统读取和写入文件,而无需Ableton。
Continue使用递归神经网络(RNN)的预测能力来生成可能跟随您的鼓声或旋律的音符。给它一个输入剪辑,它可以扩展最多32个度量。这有助于为鼓节拍添加变化或为旋律音轨创建新材料。它通常会提取持续时间,关键签名和时间等内容,它可以通过提高温度来产生更多的随机输出。
Generate类似于Continue,但它生成一个4 bar的短语,无需输入。选择输出文件夹,变化数量,温度,然后单击“ 生成”。这有助于打破创意块或作为原始样本的灵感来源。
在引擎盖下,Generate使用了一种变分自动编码器(VAE) ,它已经训练了数百万个旋律和节奏,以学习音乐品质的概括表示。Generate选择这些总结质量的随机组合,并将其解码回MIDI以产生新的音乐文件。
与其他插件不同,Interpolate采用两个鼓节拍或两个旋律作为输入。然后它会生成多达16个文件,这些文件结合了这两个文件的质量。它对于合并音乐创意或在它们之间创建平滑变形很有用。
Interpolate也使用类似于 Generate的变分自动编码器(VAE)。考虑VAE的一种方式是从MIDI到压缩空间的映射,其中类似的音乐模式聚集在一起。每个输入模式都由此地图上的位置表示。Interpolate在这些位置之间绘制一条线,并沿此线返回剪辑。返回的文件数由“steps”滑块设置。
GrooVAE调整输入鼓模式的时间和速度,以产生鼓手表现的“感觉”。这类似于“人性化”插件所做的,但以完全不同的方式实现。
谷歌在MIDI鼓组上录制了15个小时的真实鼓声。量化这些记录,去除所有速度和微量滴定,并用于训练神经网络以预测未量化的节拍作为输出。这类似于谷歌自动语言翻译中使用的方法 ,但正在从量化的鼓模式转换为人类表演。
下载链接:https://magenta.tensorflow.org/studio/ableton-live
分享干货
解读|阿里、腾讯和百度发表于KDD2018上的论文(含附录)
解读| 带你走进Curriculum Learning和Self-paced Learning的世界
第52届超级计算机TOP500排行榜发布,中国拥有229台,占比45.8%
CNCC2018技术论坛|6场报告引爆“认知图谱与推理”现场
CNCC2018|图灵奖获得者Robert E.Kahn谈“数字对象与互联网发展”
学术头条
发掘科技创新的原动力