做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染


  新智元报道  

来源:unite ai

编辑:yaxin

【新智元导读】近日,斯坦福研究人员发表的一篇论文中,对现有的2个数量级图像进行了改进,展示了通过机器学习管道实现实时CG渲染的几个步骤。

神经辐射场(NeRF)这一技术能够创建人工智能生成的三维环境和三维物体。

但这种新的图像合成技术需要大量的训练时间,并且缺乏实现实时、高度响应接口的实现。

然而,企业和学术界之为这一挑战提供了新的思路——新视图合成 (NVS)。

近日,一篇题为Neural Lumigraph Rendering的研究论文声称,它对现有的2个数量级图像进行了改进,展示了通过机器学习管道实现实时 CG 渲染的几个步骤。

与以前的方法相比,神经光图渲染提供了更好的混合伪像分辨率,并改进了遮挡的处理。

除了斯坦福大学(Stanford University)和全息显示技术公司 Raxium 的研究人员,这篇论文的贡献者还包括谷歌首席机器学习架构师、 Adobe 的计算机科学家,以及 StoryFile 的首席技术官。

体积捕获的原理是拍摄主题的静态图像或视频,并使用机器学习来「填充」原始文档未涵盖的观点的想法。

上图取自 Facebook AI 的 2019 AI 研究 ,可以看出体积捕获的四个阶段:

1 多个摄像机获取图像/画面;

2 编码器/解码器架构(或其他架构)计算并连接视图的相关性;

3 射线行进算法计算空间中每个点的体素(或其他 XYZ 空间几何单位) ;

4 训练合成一个完整的实体,可以实时操作。

到目前为止,正是这种数据量大的训练阶段使得新视图合成超出了实时或高响应捕获的范畴。

事实上,新视图合成制作了一个完整3D地图的体积空间,意味着它是把这些点缝合到一个传统的计算机生成的网格,有效地捕捉和连接一个实时CGI 角色。

使用 NeRF 的方法依靠点云和深度图在捕获设备的稀疏视点之间生成插值:

尽管 NeRF 能够计算网格,但大多数并不使用它来生成体积场景。

相比之下,魏茨曼科学研究所(Weizmann Institute of Science)在2020年10月发布的隐式可区分渲染(IDR)方法,取决于利用从捕获数组自动生成的3D网格信息。

虽然 NeRF 缺乏 IDR 的形状估计能力,IDR无法比拟的nerf的图像质量,而且两者都需要大量的资源来训练和整理。

NLR的Custom相机装置具有16台GoPro HERO7和6台中央Back-Bone H7PRO相机。对于实时渲染,它们的最低运行速度为60fps。

相反,神经光图渲染利用 SIREN (正弦表示网络)将每种方法的优点整合到它自己的框架中,目的是生成直接可用于现有实时图形管道的输出。

在过去一年中,SIREN 已被用于类似场景,现在是图像合成社区中业余爱好者 Colabs 的一个流行的 API 调用。

然而,NLR 的创新是将 SIREN 应用于二维多视图图像监控。

从阵列图像中提取 CG 网格后,通过 OpenGL 对网格进行栅格化,将网格的顶点位置映射到适当的像素点,然后计算各种贡献图的融合。

结果得到的网格比 NeRF 的网格更加具有代表性,需要更少的计算,并且不会将过多的细节应用到不能从中受益的区域(如光滑的面部皮肤) :

另一方面,NLR 还没有任何动态照明或重点照明的能力,输出仅限于阴影地图和其他照明时获得的信息。研究人员打算在未来的工作中解决这个问题。

此外,论文承认由 NLR 生成的图形并不像一些替代方法那样精确,或者前面提到的魏茨曼科学研究。

利用神经网络从一系列有限的照片中创建3D实体的想法早于 NeRF,而相关研究可以追溯到2007年或更早。

在2019年,Facebook 的人工智能研究部门发表了一篇开创性的研究论文Neural volume: Learning Dynamic Renderable volume from Images),该论文首次为基于机器学习的体积捕获生成的合成人启用了响应界面。

参考资料:

https://www.unite.ai/towards-real-time-ai-humans-with-neural-lumigraph-rendering/

AI家,新天地。西山新绿,新智元在等你!

【新智元高薪诚聘】主笔、高级编辑、商务总监、运营经理、实习生等岗位,欢迎投递简历至wangxin@aiera.com.cn (或微信: 13520015375)

办公地址:北京海淀中关村软件园3号楼1100

(0)

相关推荐

  • 如何将常规图像拖放到AI的透视网格中

    使用透视网格的时候,不仅可以绘制对象,也可以将常规图像拖放到透视网格中,下面看小编的操作. 1.首先我们要将这个常规的图像拖拽到透视网格中. 2.打开透视网格选择需要拖放的平面. 3.然后将使用直接选 ...

  • 浙大团队发表3D视图合成新方法,效果远超NeRF、NV

    大数据文摘授权转载自HyperAI超神经 作者:神经小兮 未来,我们的看电影.球赛以及演唱会等的方式,可能被「自由视角视频」(free-viewpoint video)彻底改变. 你可能不知道什么是「 ...

  • 浙大三维视觉团队攻克3D动态人体视图合成难题

    回想一下你曾经玩过的 3D 游戏:游戏场景可随鼠标前后左右任意角度移动,玩家也可获得完全沉浸式的体验感受. 与此相同,假如未来 3D 观球方式普及,你也可以用手指移动任意角度,清楚地观看球赛中的扣篮和 ...

  • 多尺度表征10亿像素图像,斯坦福神经场景表征新方法入选SIGGRAPH

    机器之心报道 编辑:维度.陈萍 多尺度.全方位地表征 10 亿 像素级别的图像以及缠结浮雕等复杂 3D 场景!斯坦福大学近日提出了用于神经场景表征的新型自适应坐标网络,不仅细节表征突出,还节省了大量的 ...

  • 最全综述:基于深度学习的三维重建算法

    前言 目前,三维重建技术已在游戏.电影.测绘.定位.导航.自动驾驶.VR/AR.工业制造以及消费品领域等方面得到了广泛的应用.方法同样也层出不穷,我们将这些方法依据原理分为两类: 基于传统多视图几何的 ...

  • IBRNet:学习多视图图像渲染

    重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 如何使用AI给像素化图像上色

    如何通过ai来制作像素画的图像,像素图像一般就是通过缩小图片,然后再将图片进行放大,设置为像素预览模式,就会让画面呈现为小方格,下面小编来教大家如何给这样的图像进行填色. 1.首先我们导入一张制作好的 ...

  • AI软件透视网格中的图像移动到其他平面

    我们将图像拖放到透视网格中,如何将图像移动到其他的平面中呢?下面来看看吧. 1.当前我们将图像拖放到了右侧的平面中,现在要放到左侧平面. 2.这个时候使用透视选区工具选中图形. 3.然后右键找到透视中 ...

  • CVPR 2021 Oral|只用静态图像,就能实时渲染出丝滑3D效果

    作者丨鱼羊 来源丨量子位 编辑丨极市平台 极市导读 入选CVPR2021 Oral,NeX的AI,能直接把每秒渲染帧数从0.02帧提升到60帧,渲染速度比NeRF要快1000倍以上. 这般丝滑的美食展 ...

  • 这个AI能帮你女朋友自拍:从照片生成3D视频,总有个角度让她满意

    爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度. 比如这位妹子,在自己的书架前拍了4张自拍照,都不太满意. 现在可以把选最美角度这件事交给AI了,让妹子不再苦恼.只要几张照片,它能从 ...