目标识别中三维特征的研究概况及技术发展趋势

1.简介

近年来,三维(3d)目标识别技术在广泛的应用中引起人们的关注,如机器人处理在生产线上的产品,移动机器人目标跟踪,障碍检测,识别环境的无人驾驶汽车,等等。最近的发展是，随着3D打印机的广泛应用，物体识别技术变得越来越熟悉，部分原因是实用的3D传感器的普及和更复杂的3D建模。

在本文中，我们将三维特征作为对象识别应用的核心技术，以及其广泛的边缘技术，来阐明研究趋势。第二章将阐述三维物体识别的基本技术问题，并将其归纳为基于模型的识别和基于外观的识别两种类型。第三章将阐述基于关键点的识别在基于模型的识别中的定位，并对研究中较为重要的三维特征进行分类，同时描述一些例子的原理和特征。在第4章中，我们将阐述局部参考系(LRF)的作用、问题和研究趋势，它对于三维特征的实际应用是必不可少的。最后，第五章给出了结论

2.基于关键点的目标识别方法

2.1三维物体识别的基本问题

在机器人视觉领域中，目标识别的一个代表性应用如图1所示，是一种能够识别批量装载的单个目标物体的位置和姿态，并用机器臂进行拾取的系统。

通过三维传感器获取的包含深度信息的点云数据在随机堆积的目标对象中单个物体的位置和姿态参数(旋转矩阵R和变换向量t)。这些数据被传送给一个机器人，机器人会捡起这些物体。从图中可以看出，目标识别主要存在两种类型的问题。第一个是尽可能准确地量化三维物体，第二个是基于上述原理对物体的位置、姿态、类型等进行识别的数据处理。

图1：三维取物系统

基于假设的机器人选取,尤其是后者的问题可以分为两种类型的任务, 一种是拣放作业，主要是为了在输送带上搬运和分类任务时拣起物品, 另一个是后续的拾取和插入任务，以高精度(插入)装配拾取的部件和其他部件。上述任何一项任务都需要计算目标物体的姿态和位置，尽管所需的精度可能因任务的不同而有所不同。

执行这些任务的机器人视觉所需的功能有两种类型，一种用于检测未知场景的照片数据中的拾取目标对象以识别目标对象的近似位置和姿势（粗略识别），另一种用于执行使用上述结果进行更精确的识别（精确定位）。粗略识别对拾取和放置至关重要，而对于拾取和插入，精确定位与粗略识别同样重要。至于精确定位，最近点迭代ICP[1]最小化3D模型和输入数据之间的匹配误差，已被频繁使用，以至于它们现在已成为一种现有技术带来了许多关于粗糙识别的研究成果。用于这种物体识别的输入数据的基本元素是从距离范围和3D点云数据获得的距离图像，但实际上，因为灰度和彩色图像通常可以从共线视点或其附近同时获得，上述数据可以以综合方式使用[9]。

2.2基于外观的识别和基于模型的识别

物体识别技术可以分类为基于外观的识别和基于模型的识别，如图2所示。基于外观的识别方法建立在物体的外观数据上。其基本概念是在数据库中安排从各个方向捕获的模型对象的众多照片图像的集群，该数据库在拍摄照片时增加了视线信息，用于照出哪个照片图像聚类最接近于未知输入数据由此估计目标对象的位置/姿势。由于存储大量图像数据和有效搜索能力而遭受实际瓶颈的上述过程得到了APO [10]等解决方案的开发的支持，该解决方案构造了外观，处理图像簇的方法是在本征空间中参数化表示的流形等。

相反，基于模型的识别假设利用3D对象模型通过评估存储在计算机中的模型与映射3D外部世界的（部分）输入数据之间的一致性来识别目标对象。作为实现后一种方法的工具，空间编码测距仪的发展在20世纪80年代得到了显着的发展，微软公司推出的快速简单的Kinect R传感器促进了基于模型的识别研究的稳步增长。

图2：基于外观和基于模型的对象识别

2.3基于关键点的目标识别

基于模型的识别方法可以细分为基于关键点的方法和基于非关键点的方法。基于关键点的方法从表示为点云的模型中选择符合特定策略的3D点（关键点）和用于匹配模型数据和输入数据的输入数据，以相互比较表示其点的3D特征像局部形状的特征。图3说明了基于关键点的对象识别的基本流程。详情将在第3章中给出。

相反，非关键点方法是将整个距离数据从单个视点转换为特征[14,26]。EGI方法[20]利用物体表面上的法向量云，3DPO [21]结合使用灰度图像，VVV [22]聚焦于带有3D数据的边缘等等。作为这种方法的衍生技术引入的是一种测试假设类型[23]的方法，通过将它们相关联以进行综合评估来识别单个对象（模型）和对象云（整个场景）而没有任何矛盾。此外，除了在硬件复杂性中使用GPU [24,25]之外，已经完成了使用能够执行特殊照明控制的拍摄装置的方法的开发以获得成功。

图3：基于关键点的目标识别

3.三维特征的研究趋势

在本章中，我们将讨论在基于关键点的方法中发挥重要作用的三维特征及其主要研究案例。

3.1三维特征的作用和分类

3D特征在对象识别中的作用是将从3D点云检测到的关键点分配为表征它们的属性，例如局部形状等。利用这些属性，可以索引相互关键点匹配中关联的有效性。因此，有必要观察对于模型和输入数据是否确保对特征的一致描述，同时优选追求尽可能稳健地表征点的特征。这种性能称为可重复性，这是特征设计的一个极其重要的因素。

建立局部坐标系对矢量进行去偏也是一个重要的设计元素，因为大部分特征的计算都是基于法向量等表示三维曲面形状的值。这将在第4章加以阐述。

目前提出的许多三维特征方法可以分为两种类型，一种描述关键点周围的特征[27-47]，另一种描述2点或3点之间的位置，或法向量之间的关系[48-55]。表1列出了3D特征的主要分类。表中的下划线项目是在本文提交日期与Point Cloud Library（PCL）注册的。上述两种3D功能将在3.2和3.3节中进行解释。

PFH, Point Feature Histogram; SHOT, Signature of Histograms of OrienTations; CSHOT, color SHOT; B-SHOT, binary SHOT; HONV: Histogram of Oriented Normal Vector; SI, Spin Image; SSI, Spherical Spin Image; DAI, Depth Aspect Image; 3DSC, 3D Shape Contexts; USC, Unique Shape Context; SDLSD, Scale-Dependent Local Shape Descriptor; FPFH, Fast PFH; DoN, Difference of Normals; LSP, Local Surface Patches; CCDoN, Combination of Curvatures and Difference of Normals; NARF, Normal Aligned Radial Feature; MHOG, Mesh HOG; RoPS, rotational projection statistics; PPF, point pair feature; ER, effcient Ransac; VC-PPF, visibility context PPF; MPPF, multimodal PPF; PPF B2B or S2B or L2L, PPF boundary to boundary or surface to boundary or line to line; VPM, Vector Pair Matching. Underline shows the method registered in the PCL.

3.2关键点周围信息描述

此类型通常描述基于3D点云的特征及其在一定范围（描述范围）中出现的衍生数据，其关键点位于其中心。其中一种描述格式是以原始格式保留的计算数据，也可以通过将其转换为直方图来处理为统计数量。在某些情况下，通过将描述性范围划分为多个子范围，保留为预先创建的每个子范围计算的特征分布。这相当于包含粗略位置数据的特征。相对经常使用的这种类型的其他方法是旋转图像法Spin Image method。

在该方法中，建立垂直于关键点的法线的平面，并且对于法线方向β及其正交方向α，在以β为轴的圆柱面上对周边点坐标进行投票，并在特征图像中表示。。在Takeguchi及其同事提出的深度方面图像（DAI）方法[30,31]中，在通过提取一个物体的三个区别点（与最大曲率）来配置的被称为方位坐标系的平面上投影的外围坐标的图像（DAI）中获得特征。上述任何一种方法都易于处理，但数据量和计算成本仍有改善的空间。

相比之下，当前的主流技术被设计为从关键点周围的描述范围捕获数据，以将其描述为特征向量而不是图像。作为示例，3D形状上下文方法[32]在纬度，纵向和直径方向上划分关键点周围的范围，并且区域中的点云的数量以特征的直方图表示。点特征直方图（PFH）[33]如图4所示，从关键点和球面范围内的k个接近点中选择大量点对，并根据每个点的法向量计算角度等参数。

图4 点特征直方图

方向直方图（SHOT）特征[36]利用法向量。如图5所示，围绕关键点的球形区域被划分为32个区域，并且法线矢量云与各个区间的关键点法线之间的关系被转换为直方图作为内积，并且导出352维特征。

另一种方法是Chen和Bhanu提出的局部表面贴片（LSP）[37]利用称为形状指数值[38]的指数来表示3D点的局部凸凹形状。尽管LSP具有更高的标识特性，但由于它具有更高的维度，因此需要更长的时间来推导特征并执行匹配。为此，Nagase及其同事介绍了通过改善Ioannou及其同事的法线差异（DoN）特征得出的3D特征CCDoN（曲率和正常差异的组合），通过计算曲率值对其进行扩充。对于大球形区域和小球形区域（图6）。它以更小的尺寸增强了表达能力。

图5 SHOT特征

图6：CCDoN特征

应该补充的是，典型的3D特征应该反映诸如平面方向等局部形状，这需要使用点云数据获得最高精度和稳定性的形状数据。在上述过程中，多数特征使用在关键点检测和特征描述中从多个3D点计算的法向量来表示平面取向数据，因为母线取向数据难以仅通过单独的3D点获得。尽管如此，正常线的使用通常倾向于消耗更长的处理时间，因为它需要定义由三个点组成的母线（三角形贴片）以得到法向矢量。

为了解决这个问题，Takei及其同事提出了Shell直方图和Radial占用变换（SHORT）特征[43]与假设支撑球围绕关键点的其他方法保持相同，但与其他方法的区别在于它通过计算3D的数量来计算具有中空内部的点到球壳区域的占有率壳中存在的点（图7（a））。该指数可用于检测关键点，因为它对于更光滑表面上的点往往更大，而对于不连续形状段则更小。此外，如图7（b）所示，通过建立具有不同半径的多个支撑球体（壳区域），它可以在直方图中定量地描绘封闭在每个壳体中的点云的方向（从关键点视图）。如上所述，SHORT方法建立呈现形状特征的特征，而不是在正模式下导出法向矢量用于关键点检测或用于特征量化。

图7  SHORT 特征

图8展示了Aldoma和同事[44]提出的面向对象的、独特的、可重复的聚类视点特征直方图(OUR-CVFH)特征。

图8 OUR-CVFH特征

它与传统方法的显着不同之处在于它描述了通过将模型平面划分为曲线表面而获得的每个区域的特征，而传统方法的关键点由穷举点云数据或具有形状特征的点表示。（如凸起的边缘，等等）。它通过协方差矩阵建立LRF，该协方差矩阵基于从点云提取的平滑级联区域（聚类），基于该点，它从质疑区域生成303维特征向量。图表右侧的图表的水平轴表示从1到303的维度数，而垂直轴表示的是按区域变化的方式，对于第一个135维度，它表示角度分布直方图部署法线（如PFH），对于接下来的104个维度，它表示对应于3D LRF的八个象限和其他点云的关键点之间的距离，对于剩余的64个维度，它表示该区域内的法线向量数据假定的传感器观点。然而，以这种具有更高尺寸的方式，通过有目的地混合各种数据，它获得了高身份（表征目标点的能力）的强大特征。该方法在SHOT方法的对比实验中证明了其在识别性能和处理时间方面的优势[44]。

3.3多点几何关系的描述

这种特征描述了两点或三点之间的几何关系。因此，这种类型需要两个主要的设计元素，一个是模型表面上的哪些点应该耦合，另一个是应该为上述耦合使用哪些几何参数。

这种方法由Drost及其同事的点对特征(PPF)[48]表示，如图9所示。这种方法选择两个点(一对点)从整个3 d点对象模型和一些他们定义4 d特性F共有四个参数的两两距离(F1),一个角度形成了一条线段连接两个点,每个点的法线方向(F2、F3),及正常的线之间的夹角的两个点(F4)。

如图9所示，匹配后得到点对拓扑的刚体变换参数。在投票选举的参数空间中,参数接收更多的投票表明,无数的点对支持常见的刚体变换参数从而使正确的预测模型的存在及其构成,即使发生错误的匹配。需要补充的是，Choi和他的同事[51]有一种方法，是改进点对选择方案的PPF的一个成熟版本。

图9 Point pair feature

属于质疑类别的特征是图10中所示的向量对特征[52]。其概念是表示用于识别3D姿势的三个3D点的最小数据集，作为共享初始点的两个空间向量， 并为三个端点分配各种特征描述符。它通过基于模型中事件概率的分析选择唯一向量对来减少错误匹配的发生。

作为使用矢量对特征的矢量对匹配的更复杂版本，可以优先使用可观察点的方法[53]，以及使用3D CG预测特征空间内的匹配性能的另一个[54]，并且两者都可以 这些方法成功地提高了匹配可靠性。另外，如图11所示，相对点密度特征[55]也是矢量对特征的导数技术，并通过关注数据点的恒定性实现了对点云密度变化的鲁棒容限。即使当点云密度根据距离变化而波动时，在模型点云或输入点云的同一对象上设置的多个支撑球体中的计数比率，等等模型点云和目标对象。

图10 Vector pair feature

图11 相关点密度特征（RPD）

3.4两类特征的比较

我们将从以下三个方面对前几节中讨论的两种代表性的特征云进行比较。

1. 从关键点所具有的同一性来看，由于其高维性，镜头特征的唯一性较高，假匹配性较低。然而，PPF通过对相应的点对参数进行投票，成功地改进了上述问题。

2. 在重复性方面，它更容易受到法向量计算精度的影响，而不是理论倾斜度的影响。此外，由于采用了表示统计量的直方图，因此在零星噪声中具有较强的鲁棒性和较高的重复性。

3. 用于匹配的关键点数量会影响处理时间和可靠性。当特征标识较高时，可以使用较少的点，但是如果在识别批量加载部件时预期会出现遮挡，则需要使用更多的点。此外，可观测性、是否完成对输入数据中特征点的观测，影响着点个数的确定。

4.局部参考系的研究趋势

在这一章中，我们将概述LRF，这是讨论三维特征不可缺少的概念，重点介绍其意义和主要研究方向。

4.1局部参考系的作用及分类

LRF是为每个关键点建立的坐标系，如图12所示。

图12  局部参考系

它的主要作用是功能的灵活运用。也就是说，LRF的稳定性直接导致了特征的稳定性，因为上一章讨论的各种特征都是基于该LRF进行量化的。此外，由于LRF在匹配完成后表达了两个关键点之间的几何关系，因此有时会被用于目标的姿态估计。

一般来说，LRF是一个三维正交坐标系。

在许多情况下，第一轴(z轴)是围绕聚焦关键点的局部平面的法向量，可以在稳态下得到。另一方面，第二个轴(x轴)是与第一个垂直相交的向量。第三个轴(y轴)是第一个轴和第二个轴的向量积。也就是说，在实际的LRF设置任务中，第二轴(x轴)的确定是最重要的。

表2中列出了LRF的主要类别。如图所示，一种类型[36,39,57,66]是通过使用特征向量同时计算三个轴，依此类推[61-66]来设置 基于法线逐个轴，依此类推。

Mian, Mian’s LRF; PS, point signature; SHOT, Signature of Histograms of OrienTations; Petrelli-LRF, Petrelli LRF (2012); RoPS, Rotational Projection Statistics; DPN, Dominant Projected Normal; EM, Exponential Map; GRF, Global Reference Frame; TriSI, Tri-Spin Image; MH, Mesh HoG; BOARD, BOrder Aware Repeatable Directions.

4.2同时计算型LRF

这种类型的最基本的LRF是Mian方法[57]，其使用基于关键点周围的点云的3D坐标从协方差矩阵获得的特征向量云来设置LRF。该方法采用特征向量云，而不需要从半径为r的球形区域内的点云坐标数据的协方差矩阵获得任何修正。例如，对于布置在平面形状的点云上的关键点，特征向量的第三主要分量对应于法向量。

应该补充的是，使用特征向量云作为构成正交基的LRF是很自然的。此外，Tombari和他的同事对该方法进行了改进，通过计算基于协方差矩阵的特征向量，随着距离关键点的距离增加，权值变轻，从而显著提高了[36]的重复性。提出了一种吸收匹配目标点云间密度间隙影响的方法——RoPS-LRF[60]。

4.3独立计算型LRF

已经为这种类型引入了各种方法，其独立地设置每个轴。这些技术的特征在于x轴计算方法，因为围绕关键点的局部形状的法向矢量方向是如此稳定，以至于它被用作整个板上的共同的z轴。

例如，BOARD-LRF [62]选择形成与z轴最大角度偏差（最小内积）的法向量，通过将其与z轴正交化将其设置为x轴。具体地，该内积被认为是围绕z轴的x轴方向角φ的函数（分布），并且当内积最小化时通过获得φ来确定x轴。此外，如果在支持范围内的点云中缺少数据，则检查cosθ和φ之间的分布关系中是否缺少数据，并且如果它在缺少数据，它使用该区域中的数据估计最小内部产品而不缺少数据，从而提高LRF可重复性。该方法被认为比Mian方法更稳健。应该补充的是，Mesh HoG [63]采用了一种统计估计由z轴确定的极坐标中的梯度方向分布的主方向的方法。这种类型的LRF通常在遮挡中具有更强的鲁棒性。

应该注意的是，在处理工业部件时，特别是第二轴是很难设置的，因为像平面这样的简单形状的数量往往很大。为了解决这个问题，Akizuki和Hashimoto提出了全局参考系[64]，该参考系基于全局数据来确定RF，例如物体的轮廓(通过山脊线得到轮廓)。

由Petrelli和Stefano在图13中的LRF [65]作为一个精确和稳定的第二轴沉降的研究也非常有趣。z轴被建立为对应于来自协方差矩阵的最小特征值的特征向量，如利用相对窄的区域周围关键点的Mian方法。在该过程中，通过确定与正方向的附近法线的方向相同的方向来解决正和负模糊。然后基于通过在z轴的切平面上投影获得的矢量分布来固定x轴，在图的外围中的区域区域中包围的点云，并且通过以下方式导出y轴：x和z向量的向量积。即，z轴的推导使用更容易执行平面近似的较小区域，而x轴的推导使用远程部分的分布来反映全局形状。尽管存在稳定提取周围区域的问题，但该方案很好地设计用于LRF稳定性。

图13 Petrelli和Stefano的LRF

另一方面，Akizuki和桥本也引入了一种稳定的LRF，称为显性投射正常(DPN)-LRF[66]，其概念如图14所示。为了处理匹配目标点云的密度变化，该方法与RoPS-LRF方法类似，考虑测量点之间存在的物体的固有形状来计算轴向。在分析了正态线方向分布的基础上，提出了一种通过计算主方向来提高对缺少点云的鲁棒性的方法。

图14 DPN-LRF

5.总结

寒露是二十四节气中的第17个节气，是干支历酉月的结束以及戌月的起始;时间点在公历每年10月8日或9日视太阳到达黄经195°(处于室女座)时。

图15 三维特征和局部参考框架的研究历史

关于我们

目前微信交流群不断壮大，由于人数太多，目前有两个群，为了鼓励大家分享，我们希望大家能在学习的同时积极分享，将您的问题或者小总结投稿发到群主邮箱[e-mail]。