TimeSide-开放的Web音频处理框架
imeSide是一个python框架,可进行低级和高级音频分析,图像处理,代码转换,流传输和标记。其高级API旨在通过插件体系结构,安全的可扩展后端和可扩展的动态Web前端,对任何音频或视频资产的超大型数据集进行复杂处理。
功能
缩放音频计算(过滤,机器学习等)
网络音频可视化
音频过程原型
通过Web进行实时和按需转码和流传输
自动分段和标记与音频事件同步
目标
使用Python异步和快速的音频处理,
将任何音频或视频媒体格式的音频帧解码为numpy数组,
使用一些最先进的音频功能提取库(例如Aubio,Yaafe和VAMP)以及一些纯python处理器来分析音频内容,
使用各种奇特的波形,频谱图和其他酷炫的图表可视化声音,
将各种媒体格式的音频数据转码并通过网络应用流式传输,
通过各种可移植格式序列化功能分析数据,
提供来自油管或Deezer等平台的音频源
提供通过REST API的分析和转码上通过网络提供或上载轨道
通过智能的高级HTML5可扩展播放器按需播放和互动 ,
索引,标签和注释与语义元数据的音频档案(见Telemeta其嵌入TimeSide),
通过任何基础架构部署和扩展自己的音频处理引擎
安装
Timeside现在完全可以作为Docker组合使用了。基于docker的组合将一些强大的应用程序和现代框架捆绑在一起,它们是即用型的:Python,Conda,Numpy,Jupyter,Gstreamer,Django,Celery,Haystack,ElasticSearch,MySQL,Redis,uWSGI,Nginx等。
首先,安装Docker和docker-compose
然后下载TimeSide并解压,
cd TimeSide
docker-compose pull
现在,请转到文档以了解如何使用它。
注意,如果您需要在Docker映像之外使用TimeSide,请参考基于Debian稳定系统的Dockerfile规则。
案例
使用两个处理实例可以很容易地执行最基本的操作,即代码转换:
在上面的示例中可以看到,创建处理管道是使用二进制OR运算符执行的。
可以使用诸如波形和频谱图之类的绘图仪来执行音频数据可视化。所有绘图仪均返回图像: