AI + 3D！英伟达开源3D深度学习框架Kaolin

3D计算机视觉在医学影像、自动驾驶、机器人深度感知、视频游戏、虚拟和增强现实中有重要应用。

近日，英伟达新开源了kaolin深度学习框架，旨在加速3D计算机视觉的研究。其基于PyTorch实现，包括主流3D视觉数据表示的读取和3D计算机视觉的可微分模块。将大大降低3D计算机视觉研究的进入门槛。

目前该库支持主流的3D数据表示有：Triangle Meshes, Quad Meshes, Voxel Grids, Point Clouds, Signed Distance Functions (SDF)，并支持这些数据格式的相互转换。可以很方便将上述数据导入神经网络中。

Kaolin 实现了可微分的 rendering, lighting, shading, and view warping，同时也支持常见的损失函数和度量标准，也可于计算后无缝渲染3D结果。

Kaolin支持的3D计算机视觉任务：

  • 可微分渲染；

  • 单图像的mesh重建；

  • 点云分类与分割；

  • Mesh 分类与分割；

  • voxel grids上的3D超分辨率；

  • 一些基础图形功能；

不仅如此，Kaolin还实现了大量state-of-the-art的3D计算机视觉算法，包括：

  • DGCNN

  • DIB-R

  • GEOMetrics

  • Image2Mesh

  • Occupancy Network

  • Pixel2Mesh

  • PointNet

  • PointNet++

  • MeshEncoder: A simple mesh encoder architecture.

  • GraphResNet: MeshEncoder with residual connections.

  • OccupancyNetworks

  • MeshCNN

  • VoxelGAN

  • AtlasNet

项目地址：

https://github.com/NVIDIAGameWorks/kaolin

总之，对于从事3D 计算机视觉研究的朋友来说，这是一个非常值得参考的库！NVIDIA为了卖计算卡，真是费心了。

三维重建交流群

赞 (0)

相关推荐