基于超点图的大规模点云分割
本期介绍一篇基于大规模点云的语义分割相关论文《Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs》
本文提出了针对大规模点云的语义分割的框架，有序的点云是可以获取一种叫做超点图（superPoint Graph）的结构的。超点图能够提供点云对象相邻点之间的关联性，这种结构可以将传感器扫描的场景划分为均匀的几何元素用来表示同属性的点云类。然后由一个图卷积网络加以利用，实现语义分割。
相关研究
对大型点云的处理使用或者借鉴在图像上已经成熟的CNN方案。比如SnapNet[1]将点云映射成2D的图像上，语义分割之后再映射到原始的点云数据中，SegCloud[2]在规则的体素网格的基础上使用三维卷积，然后插值回原始分辨率和使用条件随机场（CRF）进行后处理来处理大型点云，但是这种方法并没有遵从三维点云的固有结构，并且导致了点云信息的确实，实际上将点云转换到图像上也会导致点云信息的丢失。点云体素表示与映射二维信息的丢失会导致语义分割的不确定性。PointNet[37]可以使用滑动窗口方法分割大型点云，因此仅在小区域内约束上下文信息。Engelmann等人[6]通过增加多尺度窗口的上下文范围或直接考虑体素网格上相邻窗口的位置，对此进行了改进。
专门为三维点云设计的深度学习体系结构[3、4、5、6]显示出良好的效果，但是这些框架受限于输入点云的大小的限制。所以这篇论文提出了将大型点云表示为一组相互连接的几何形状的超点图，其实质类似于图像的超级像素分割的方法【7】，如下图：
上图可视化了超点图分割流程中的各个步骤，输入的点云（a）被划分为具有简单的几何形状超点（b）此时在预处理的基础上，利用具有；临近超点的丰富边线的相连的属性构造一个超点图（c），最后将利用以上信息进行图形的卷积处理，并分类为语义标签（d）。
超点图的优点
点云的超点图能够表示相邻点的形状，图的边缘描述了具有丰富边缘特征的邻域关系。超点图有以下几个优点：
（1）没有对单个点或者体素进行分类，而是将整个对象视为整体的一部分。
（2）能够详细的描述相邻对象之间的关系，这对于相邻对象的分类至关重要。
（3）超点图的对象大小由场景中具有简单几何关系的多个点云决定而不是单个点的总数来定义。
基于此超点图可以在不牺牲点云细节的情况下，在大规模点云上应用深度学习，论文在公开的数据集Semantic3D[14]和S3DIS[3]进行了实验
论文方法介绍
该框架主要是为了克服大规模点云的分割问题，我们知道当点云的数量达到上亿个点的时候，这使得直接使用深度学习比较棘手，这里提出的超点图可以让我们将语义分割问题变成不同尺度的三个不同的问题。
在点云（a）上执行几何分割，这允许我们构建超点图（b）。每个超点都嵌入了一个点网络。然后在GRU（Gated Recurrent Unit）中通过消息沿超点边缘传递来细化嵌入，以生成最终的标签（c）。
算法步骤
1）按照几何形状均匀分区：算法将点云划分成几何上简单且有意义的形状，称之为超点，这一步是无监督的将整个点云作为算法的输入，因此计算效率十分高效，从点云分区可以很容易的计算出超点图。这一步将描述将输入点云划分为简单形状的方法，算法的目标不是检索单个对象，比如汽车或者椅子，而是将对象分解为简单的几何属性的部分，如下图所示，聚类的结果在几何上是简单的，但是我们期望他们在语义上是同质的，也就是该每个几何形状是不覆盖不同类的对象的。这一步骤完全是无监督的，为了提高效率这里使用了文献【8】描述的全局能量模型。该方法具有分割的自适应局部几何复杂度，分割出来的简单形状可以是大型的形状比如道路或者是墙壁，也可以是更小的组件，比如汽车或者椅子的零件。
（2）超点的嵌入：超点图的每一个节点对应整体点云的一小部分，对应于一个几何形状的简单的基元。我们假设这些超点在语义上是齐次的，将这些超点基元降采样到最多数百个点来表示。这个小尺寸的点云则可以使用PointNet方法来处理。选择PointNet[37]是因为它非常简单、高效和健壮。在PointNet输入点首先由空间变换网络[18]对齐，然后由多层感知器（MLPs）独立处理，最后由max池来总结形状。
（3）临域点云的分割，超点图的数量级比建立在原始点云上的任何图都小，然后在此基础上利用图卷积的深度学习算法使用超点的边缘特征对这些节点进行分割，从而实现语义的分割。
实验结果
评估了目前最大的两个点云分割基准，Semantic3D[9]和Stanford大型3D室内空间（S3DIS）【10】
开源代码地址 https://github.com/loicland/superpoint_graph.
参考文献
【1】Unstructured point cloud semantic labeling using deep segmentation networks
【2】SEGCloud: Semantic segmentation of 3D point clouds
【3】PointNet: Deep learning on point sets for 3D classification and segmentation
【4】PointNet++: Deep hierarchical feature learning on point sets in a metric space
【5】OctNet: Learning deep 3D representations at high resolutions
【6】Exploring spatial context for 3d semantic segmentation of point clouds
【7】SLIC superpixels compared to state-of-the-art superpixel methods
【8】Weakly supervised segmentation-aided classification of urban scenes from 3d LiDAR point clouds
【9】Semantic3d. net: A new large-scale point cloud classification benchmark
【10】3D semantic parsing of largescale indoor spaces