CVPR 2020|超越H.265,中科大使用多帧数据改进视频压缩新方法

随着深度学习的兴起,可学习的视频压缩( learned video compression)方法也越来越引起研究学者的重视。
CVPR 2020 的论文 M-LVC: Multiple Frames Prediction for Learned Video Compression ,来自中国科技大学的学者提出一种参考多帧的预测方法,改进了低延迟场景的端到端 learned video compression方法。
01
方法

文章指出,之前的方法多只用前一帧作为参考,该文指出使用前面多帧作为参考,其可以实现:

  1. 更加精确预测当前帧,使得残差数据量更小;

  2. 有助于生成motion vector (MV)预测,降低MV域的编码代价;

作者使用两个自动编码机(auto-encoder)分别压缩残差和MV,为补偿压缩错误,结合多帧数据引入残差和MV的提精网络。
该算法是在DVC基础上发明的,下图展示了该文的压缩模式,蓝色高亮部分为该文提出的新模块。

在三个数据集上与H.264 , H.265 , DVC 方法的压缩结果比较,可见在PSNR和MS-SSIM上均实现明显的效果提升。

02
编解码速度
作者使用Titan Xp GPU测试了模型的推断速度,在352x256分辨率视频上,编码帧率2.7fps,解码帧率5.9fps。

还需要更多的优化,才能达到实时编解码。

03
结果
实验结果显示,在低延迟模式下该文方法打败了之前的可学习的压缩方法,另外在与工业标准H.265比较中,PSNR和MS-SSIM也取得了更好的结果。

作者称代码和模型均将开源。

04
传送门

论文地址:

https://arxiv.org/pdf/2004.10290.pdf

开源地址:

https://github.com/JianpingLin/M-LVC_CVPR2020

(目前还未开源)

END

在看,让更多人看到

(0)

相关推荐