《拉贝日记》视频系统设计及实施
江苏大剧院首部原创歌剧《拉贝日记》获得2018国际歌剧大奖(International Opera Awards)原创歌剧入围,这是该奖自诞生以来首部入围的中国歌剧作品。该剧视频系统由江苏大剧院舞台技术部设计,将舞台投影技术从传统的二维投影提升到三维投影,并实现对舞台视、声、光的集控。该系统采用了以disguise媒体服务器为核心的系统架构,并由2台disguise 2x4pro媒体服务器互为主备,同时使用了1套Lightware视频切换矩阵,5台HDF-W30 FLEX投影机等设备共同完成。特别是disguise媒体服务器的投影贴图矫正功能,使设计制作的视频影像能准确、便捷、直观的投射到三维介质上;disguise媒体服务器开放的控制协议完美地完成了视频、灯光、音响的系统集控,为舞台艺术创作提供了强有力的支撑。
1 《拉贝日记》视频系统架构
1.1disguise 基本功能与工作流程
disguise作为一个综合性演出创作平台,具有演出设计、控制、管理等完整的功能,因此,在世界级音乐会、剧场演出、灯光艺术节等大型活动中都有广泛应用。disguise包括Designer视效创作软件以及disguise媒体服务器硬件,可提供演出项目一体化的系统解决方案,包括提案、摄影机运动轨迹建立、技术参数设定等从演出概念设计到最终演出呈现的不同阶段的创作。基于性能稳定且拥有特殊的实时备份系统以及视频格式转换(VFC)技术,disguise提供了从创意设计到演出输出的功能完整、性能高效、使用便捷的系统解决方案。
舞台的三维模拟建模与预演:disguise拥有“所见即所得”的即时反馈式的软件编辑视窗,根据大剧院真实舞台比例以及舞美设计,在软件中搭建并配置虚拟舞台,计算投影机数量和位置角度,并检验项目媒体内容分辨率、解码格式、帧率等是否符合要求,为制定视觉呈现解决方案提供依据。通过实时视窗还可以让参与项目的不同人员以全视点、角度预演舞台效果,也大幅度提升了导演对项目设计效果的预判和执行效率。
演出时间线编程设计:disguise有完整功能的时间轴系统可导入媒体进行编排设计,在搭建完舞台并且校准好投影机后,舞台效果的呈现与控制将集中体现在时间轴上。通常是在演出前进行离线编程,同时disguise支持在线编程,即在彩排或演出现场进行实时协作编程,演出中的时间线编程可与MIDI、MSC、Artnet以及OSC进行同步且实时更新,能高效地管理演出屏幕与布景内容。
演出在线的调整:当项目在Designer软件中设计完毕,只需将项目文件拷贝至用于演出的disguise媒体服务器中即可实现现场视频回放以及实时舞台调整。
1.2演出视频系统的主备架构
演出的视频系统与舞台全局系统的配合尤为重要,基于disguise特有的主、备系统方案设计,“热备”功能可实现备用服务器对主服务器的实时同步与主备输出热切换,为项目视频系统提供稳定的输出保障,避免使用一台媒体服务器遇到故障时影响演出的现象发生。
为了确保《拉贝日记》演出过程中视频播放的顺利进行,该视频系统解决方案的设计采用了主、备媒体服务器加视频矩阵的主体架构,如图1所示。在系统运行过程中,备份服务器与主服务器运行同样的项目工程文件,且其时间码也与主服务器同步;备份服务器的视频输出与主服务器的视频输出一同进入视频矩阵,再由视频矩阵输出到投影机。
图1 演出视频系统的主备架构
当主服务器在正常工作时,备份服务器处于准备状态,也在实时监测主机的运行。当主机出现异常状态或死机情况,备份服务器只需5 s便可自动接替主机工作,将控制权转移至备份服务器,同时将视频矩阵的输入切换为由备份服务器输入,正常运行主机所呈现的舞台视觉效果,达到主、备无缝切换,从而保证演出能够顺利进行。
具体主、备服务器的主备设置如图2所示。主、备disguise媒体服务器的设置需要在相同局域网段中,且运行完全相同的项目工程文件。首先,在任意一台disguise中运行工程文件,在服务器软件disguise Designer中的Option[D3State]菜单选择d3net Manager,设置该机为Master(服务器名称及产品序列号),并在Understudies栏设置用于备份服务器的自动备份时间和矩阵预设序号,即完成两台2x4pro的主、备设置。
图2 主、备服务器设置
2 视频、音频和灯光的集中控制
disguise不仅作为视频播放,还拥有前期预演、集成设备等完善的功能,对于设备的集成控制,容许多种收发通信协议,如:UDP、TCP、DMX 512、LTC、MTC、MIDI等,以及多种串口协议。在该视频系统中,disguise媒体服务器通过MIDI协议与音频系统连接,通过DMX 512协议与灯光系统连接,最终由ETC灯光控制台完成媒体和灯光的总控。
搭建该系统的控制链路,要在设备管理器中设置好所运用的Lightware DVI视频切换矩阵,确保矩阵设备的IP地址与主备服务器在同一个网络中。其次,在时间线上创建一个新的DVI Matrix控制层,选择DVI Matrix Command Preset对DVI矩阵预设,并输入预设编号。
《拉贝日记》的控制系统方案有两个思路,第一种方案是将灯光、音频集成到disguise,统一由disguise一键式播控,通过disguise发送MTC协议与MIDI时间码触发舞台音效,同时发送DMX协议给灯光控制台,触发灯光CUE,以实现影像、灯光、音效的同步控制;第二种方案是将视频和音频连接到灯光控制台,由灯光控制台统一触发。
考虑到《拉贝日记》的演员调度和换景各方面的综合因素,最终选用第二种方案,由灯光控制台做主控。目前,很多演出的灯光、音频以及视频的播放都是由三组人分别进行手动控制。而在该歌剧演出中,根据剧本分别编制了相应的灯光、音频、视频的CUE,并尝试将三种CUE进行统一播控。由于灯光在舞台演出中属于CUE最多的部分,因此,将视频、音频的控制交给灯光控制台进行总控。disguise接收并监测灯光控制台发出的DMX 512通信协议,对应时间线编排好素材后,将视频CUE插入到灯光CUE中,并只有当灯光和视频的CUE相同时,如灯光CUE P1:5:1与视频 CUE P1:5:1一致,灯光的变化触发视频同步变化,实现灯光、音频、视频与演员表演的时刻高度匹配。
由于CUE有不同的类型,因此,对于CUE的设计需要注意信息的一致性。CUE是由三级数字组成,第一级数字对应演出不同的幕,第二级数字用来标识CUE的种类(灯光、音频、视频),第三级则是具体的CUE,这样仅从CUE的数字上就能得到一些大概信息。
3 在线渲染及实时控制
用于《拉贝日记》演出的舞台为镜框式,使用了2台投影机从舞台前方投射,2台从舞台后方进行背投,1台在舞台顶部用于投射舞台道具布景,如图3所示。
图3 舞台道具布景的投影
歌剧的排练过程同时也是创作过程,每次排练有可能产生新的素材或改变。在排练过程中,视频创作人员与视频导演一同进行创作,对于视频呈现的效果,视频导演会提出一些修改意见,如颜色和效果等,视频创作人员可以立即在disguis服务器中进行修改而无需重新渲染视频;不仅如此,还可以根据导演的需求做动画帧,做到对导演的创作想法进行快速验证。
3.1在线编辑及素材管理
在排练中,视频创作人员需要根据排演情况创作新内容,并对原有的内容进行修改替换,disguise提供了灵活的素材管理系统来应对。在演出排练过程中,视频创作人员的计算机接入视频系统的局域网中,并将disguise服务器中的素材文件夹共享,视频创作人员在渲染视频时即可直接渲染到此文件夹中。同时,disguise服务器还有文件的版本控制系统,当需要替换新的素材时,只需要把文件名命名为原文件加_vxxx,x为版本号,系统会自动将视频序列器上相应的视频文件替换为最新的版本,而且当需要回滚到原来版本时,只需要在此视频所在的视频层中选择之前的版本即可,这种素材管理功能极大提高了工作效率。
3.2三维投影校准
多维立体投影比二维平面投影相对复杂,原因在于需要考量视频内容的呈现视角,以及投影机在立体空间中的投影校准。在投影校准前,需要对镜框式舞台进行虚拟建模,并将正确处理过的UV(U-VEEZ,二维纹理坐标)的obj格式舞台模型导入disguise Designer,模型与实际舞台的匹配度越高,对投影进行校准越有帮助。同时,校准的准确度与观众实际观测距离关系密切,需要在剧场进行实地观测,如图4所示。
图4 disguise Designer中的舞台模型与投影校正
Quick Calibrating Projectors是disguise快速校准投影机的方式之一,通过点对点的方式。进行校准时,首先在disguise Designer中的舞台模型内按照真实舞台的位置布局还原,在投影属性设置中添加需要校准的模型(相框、纱幕)和具体的投影机;然后为Manage Points与Line UP Points两个选项添加校准点,并进行点对点校准。
3.3对投影机时间线编程与实时控制
在创作过程中,如何设置两台正面投影是难点之一。由于正面投影在没有台口纱幕的情况下投影会出现重影,视频导演想要在某些片段中关闭其中一个投影的光闸。Disguise的在线编辑的分层结构解决了这问题,由于disguise除了视频播放层,还有控制层,并支持目前主流的通信协议,同时投影机也支持远程控制,因此,在视频播放中加入了投影的控制层,根据视频导演的创作需要在演出中做到对投影光闸的自动控制,改善了传统手动控制光闸的低效度,为歌剧呈现提供了更灵活的创作空间,如图5所示。
图5 控制层对投影光闸的自动控制
《拉贝日记》将去拉贝的故乡德国巡演,考虑到系统的流动性及安装的便捷性,同时还要保障所需功能的实现,基于现有视频系统的方案,提出了光纤传输的方案,并增加了播控辅助系统部分,如图6所示,为演出提供稳定的播控方案。
图6 视频系统的光纤传输方案
《拉贝日记》视频系统的成功应用,验证了以disguise媒体服务器为核心,集合分隔预监信号、网络通信、投影机外部软件控制系统的视频系统集成方案的可实施性、高效性与稳定性。
节选自《演艺科技》2018年第7期李立 ,嵇 崟《《拉贝日记》视频系统设计及实施》