想要慢动作更顺滑? 英伟达最新AI黑科技来袭,不再错过那些美好瞬间
总有那么多美好的瞬间,想要用慢镜头拍摄,比如婴儿第一次走路,一个很难的滑板技巧,一只狗抓球……
现在很多智能手机已经可以拍摄超高帧慢动作的视频,但仍然很具有局限性。
由于高帧率需要庞大的缓存和数据写入系统,普通设备很难支撑住,用它们来长时间纪录并不实际。如果对已经录制的视频进行慢速回放,创建流畅的慢动作视频则需要短时间捕捉多帧画面,如果所录的帧数不够,那么最终的慢动作视频看起来会很不流畅。大多数人并没有昂贵的高速相机,一般软件会试图填充帧数,造成画面的移动不那么自然。
6月18日,英伟达发布了一个视频,他们利用人工智能开发出了一种将普通视频“慢动作化”的新方法。
这是英伟达携手马萨诸塞州大学和加利福尼亚大学的研究人员,打造的一种可以将任何视频转换为慢动作、但又不牺牲播放平滑度的解决方案。
在转换一段汽车漂移的视频时,我们可以看到,使用 30fps 拍摄的视频,再使用 12.5% 的速度进行慢放时,有明显的卡顿。而经过英伟达新技术转换后的视频,使用 240fps 的效果进行播放,汽车的漂移过程却很流畅,没有看出卡顿。
在这项技术转换后的慢动作视频中,舞蹈演员在旋转时头发和衣服上的细节,也显得更加清晰。
在这项技术中,英伟达通过使用NVIDIA Tesla V100显卡以及cuDNN深度神经网络每天对超过11000个240fps视频进行训练,训练完成的模型可以将普通30fps视频插帧成240fps的视频,同时还会有独立的数据库来验证他们插帧内容的准确性,验证是否符合原视频的效果。
这项技术依赖于两个卷积神经网络(CNN),让它们协同工作,以确定物体在框架和帧间的移动位置。之前绝大部分的插帧技术都是利用前后帧的关系生成更多的中间帧,NVIDIA与大学研究员则是只利用其中的一帧就可以办到,因此插帧数目显著提高,还能保持图像不失真,不影响观看效果。
据悉,英伟达还携手 YouTube 知名频道主“Slow Mo Guys”来测试这项技术。
我们可以看出,英伟达的人工智能对视频中物体的定位,以及补帧的技能都很强。英伟达还表示,该项技术可以对各种规格的慢动作视频进行优化。实践表明,这项技术也确实适用于对各种规格的视频进行慢速回放时的优化。当然,想要进一步进行 AI 慢放的话,将需要更长的时间去补帧。
目前这项技术还处在实验室阶段,暂时还不会出现在消费市场。该公司仍需大量的优化,消除一些限制,才能让系统做到实时运行。比如首先,研究人员必须训练他们的深度学习系统来处理特定类型的素材。为了获得汽车在水中滑行的慢速视频,他们必须首先用相似的镜头进行训练。另外,这种技术不能产生无限数量的中间帧。没有数据,计算机就不可能预测真实世界物体的运动和行为。不过,英伟达的系统可以产生多达7个中间帧,足以创造不错的慢动作。
从展示的效果来看,这项技术如果落地应用,对于未来影音娱乐将会产生比较大的影响。比如,对于影视行业的朋友而言,视频的后期做起来会更加省事~
也许在不久的将来,手机相机中会出现类似的功能。那样的话,它将可以用来拍摄日常生活中珍贵时刻的视频,并将它们放慢速度,看起来像是电影中的慢动作场景,还能增添悬念,给观者带来更多期待~