从传统到深度学习:浅谈点云分割中的图结构 2024-06-25 16:02:56 随着3D扫描技术的进步,如何将点云的前景和背景正确分离成为点云处理的一个具有挑战性的问题。具体来说,就是给定一个对象位置的估计,目标是识别属于该对象的那些点,并将它们与背景点分开。除了将前景与背景分离的基本任务外,分割还有助于定位、分类和特征提取。根据人类视觉感知的原理,一个典型的2D图像的图割问题如图1所示。图1 一个典型的图拓扑结构和分割示例。顶点(白点)在这里与5个最近的近邻点相连。边的成本由边的粗细反映。a)对象点和箭头所指向的背景点。b)种子点被相应的终端替换,新创建的终端边继承先前连接的种子点权重。c)图分割。浅灰色的顶点为前景对象,深灰色的是背景对象。利用分割技术来识别空间上不均匀的连续区域,识别和图像索引等更高层次的问题也可以利用匹配中的分割结果,但在3D点云中分割对象的问题是具有挑战性的。例如前景通常与背景高度纠缠在一起,另外真实世界的数据具有大量噪点,采样不均匀等特点,例如地面扫描的点密度在扫描方向上较为密集,而周围较为稀疏;机载扫描对几乎垂直的表面采样则很差。此外,受设备自身技术参数的影响,使用不同设备采集得到的点云数据会导致不同物体之间的采样率存在相当大的差异,并且通常出现在同一物体的不同表面。受到计算机视觉和计算机图形学中图割技术的启发,众多学者将基于图切割的方法应用于点云的前景和背景分离,从而将3D表面分解为多个部分。虽然点云中的图割方法是图像技术的扩展。但与图像技术明显不同,颜色或纹理信息一般不在点云的图割问题中使用,并且与大多数计算机图形分割问题不同,点云处理的输入端是表示带有大量自然噪点的场景点云,而不是具有光滑表面的单个对象模型。传统点云方法中基于最小图割的分割方法通常在点云上创建一个最近邻图来实现,定义一个惩罚函数来判断平滑分割,其中前景与背景采用弱连接,并用最小切割最小化该函数。图2 传统点云方法中图割的典型应用。一个通用的表示即:用G=<V,E>表示要分割的点云,V和E分别是顶点(vertex)和边(edge)的集合。普通的图由顶点和边构成,如果边的有方向的,这样的图被则称为有向图,否则为无向图,且边是有权值的,不同的边可以有不同的权值,分别代表不同的物理意义。同时,每条边都有一个非负的权值,也可以理解为cost,这里的cost函数是需要人为定义的。一个cut(割)就是图中边集合E的一个子集C,那这个割的cost(表示为|C|)就是边子集C的所有边的权值的总和。一般可以用类似下面公式的一个能量函数E(L)描述点云图割问题。能量函数定义为:L = {Lp|p∈V}是点云V的label。系数λ≥0用来指定区域项Rp()与边界属性项B <p,q>的相对重要性。将来自V的所有N个最近邻对定义为集合M。边界属性项反映了相邻点之间的距离函数,即:其中,以上部分可以说是老生常谈,其实最重要的是如何解决这个优化问题。某些情况下该问题为一个NP-hard问题,感兴趣的朋友可以去了解一下该问题的求解方法,可以先从一个简单的二元优化问题入手。随着相关学者的进一步深入,后续又出现了新的图结构,比如下面的这种半边图结构。图3 典型的半边图结构该图结构将多边形存储为顶点的双向链表可以方便地支持算法中处理多边形所需的许多操作。例如,当将两个跨切线的凸多边形组合成一个更大的凸多边形时(例如在需要进行分而治之的凸包算法中),处理速度将变得非常快。这种半边数据结构也称作双连接边列表(DCEL),是一种数据结构,用于表示平面图在平面中的嵌入,以及3D中的多面体。这种数据结构提供了对象(顶点、边、面)相关联的拓扑信息。图4 分解为三层均匀超图的超图图示再比如上图所示的超图(Hypergraph),一个(无向)超图H=(V,E)在n个顶点(或顶点)的有限集合V = {v1 , v2, ... ,vn}上被定义为p个超边的集合E={e1,e2, ...,ep}。其中每个超边都是V的非空子集。设H=(V,E)是一个超图,w是一个权重,使得每个超边e∈E映射到一个实数w(e)。超图Hw = (V,E,w)被称为加权超图。简单的来说,相比较普通图而言,它的一个边(edge)只能和两个顶点连接;而对于超图来讲,人们定义它的边(这里叫超边,hyperedge)可以和任意个数的顶点连接。一个图和超图的示意图如图5所示:图5 一般图和超图的对比随着深度学习技术的发展,研究人员的工作重心又转向了如何将图结构部署到深度学习网络当中去,一个典型的例子是2019年ICCV的一篇文章《Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation》。在这篇文章中,作者提出了一种边分支结构,从而为point branch提供上下文信息;同时,作者还利用分层图结构,实现一个由粗到细的信息生成过程。图6 所提框架的简单说明。点分支和边缘分支一起用来预测语义标签。文章的主要贡献就是探究局部区域中点之间的语义关系并利用上下文信息,作者显式地在点与它们的上下文邻居之间建立边缘,并建立具有辅助边缘损失的分层边缘分支,如图6所示。具体来说,除了PointNet ++中的编码器-解码器点分支之外,所提出的新边缘分支还接受来自不同层的点特征,并逐步生成边缘特征,然后将其馈送到点分支以在局部图中融合信息。对于每个点,相应的边缘特征提供局部固有的几何和区域语义信息以增强点表示。图7 总体架构。N表示原始点云中的点数。N的下标是层索引。较大的索引表示具有更多点的图层。C表示点要素通道的数量。K表示边缘特征通道的数量。E表示边集。边缘特征是从最粗糙的层0开始编码的,并逐渐被后来的层的点特征所精炼。不同层中的边缘要素也参与相应的点模块以提供上下文信息。图8 边缘向上采样的演示。i,j为经过点模型新增加的点,通过寻找i,j的共同近邻来作为新增边的特征。图中第三副就是i近邻点的特征边,第四幅图中红色的边就是两个点近邻共同拥有的边。图9 该框架在S3DIS数据集上语义分割结果关于点云中的图结构还有很多相关paper,感兴趣的小伙伴下来可以自己查找学习。 赞 (0) 相关推荐 数与图(13)——画双曲线 在上一篇<数与图(12)--画椭圆>中,我们绘制了8个椭圆(其中一个是圆),并标注了8个椭圆的焦点,因为设定了b≤a,因此焦点在x轴上.从测试结果中观察到,当a不变时,b的减小导致焦点远离 ... 初始化神经网络权重的方法总结 在本文中,评估了权值初始化的许多方法和当前的最佳实践 零初始化 将权值初始化为零是不行的.那我为什么在这里提到它呢?要理解权值初始化的需要,我们需要理解为什么将权值初始化为零是无效的. 让我们考虑一个 ... 【从零开始】四棱锥入门教学!干货满满! 素描静物 四棱锥是比较基础的静物 难点在于其透视变化 在画四棱锥的时候要特别注意 多画透视图,多研究其形体 赶紧跟着小志哥一起学习吧 /简单却蕴含知识的石膏几何体 -- 四棱锥 ①四棱锥的立面由四个 ... 稷山县下迪中心校 冯杜鹃//浅谈在英语教学中如何激发 学生的学习兴趣 感恩相遇 后稷文苑 吾日三省吾身! 一个教师坚持写一辈子教案不一定成为合格的教师,甚至可能只算个教书匠:但是,一个教师如果能够坚持写三年反思,一定会飞跃发展,也许会成为名师. 下迪中心校倡导从领导到教 ... 浅谈初中语文教学中传统文化教育的渗透 摘 要:素质教育的推行,给初中语文教学体系提出了更高.更全面的要求,越来越多的语文教师开始尝试以其他文化教学方式推动素质教育的落实. 关键词:初中语文教学 传统文化教育 素质教育 语文素养 而传统文化 ... “安吉游戏”专栏丨冯晓霞:“安吉游戏”与深度学习——兼谈我们为什么要学安吉 文章来源幼儿教育杂志(ID:yejy_jiajiaoban) 华爱华教授导读:积极主动.解决问题.实践反思.创造思维.合作分享等这些深度学习的基本特点,也正是"安吉游戏"的基本特征 ... 推荐赵放岚阿姨作品——《浅谈在语文教学中如何提高学生的学习兴趣》 浅谈在语文教学中如何提高学生的学习兴趣 从至圣先贤孔夫子开始设私塾教授弟子至今,教师这个行当已经有几千年的历史了.几千年来,无论社会如何变迁,教育内容如何更换,但教师"传道受业解惑" ... 浅谈小学体育教学中如何渗透环保教育 泰来县江桥镇中心小学 张春雨 环境是人类生存的基本条件,是人类赖以生存的基础.当前生态环境日趋恶劣,一次又一次给人类敲响了警钟,为了我们现在和以后的世世代代,保护和改善人类环境,已经成为人类一个 ... 高品质论坛精彩回顾 | 尤为:浅谈净水厂工艺流程中细菌种类及分布 "更优质.更精细.更智慧"高品质饮用水探索与实践研讨会暨<净水技术>2021年学术年会于4月28-30日在上海举办. 研讨会邀请了50余位在高品质供水创新和实践方面的院 ... 量入为出/理性自信/追逐热点/线上金融,浅谈银发族稳中求变的理财需求升级 作者:瓦松 编辑:Mico 开篇: 很多人存在这样的疑惑:银发族群经济实力是偏高的,他们为什么不舍得花钱?对于银发族来说,除了节俭观念外,他们已经形成了固定的花钱方法和价值判断标准:更重要的是,在 ... 浅谈亲属关系公证中亲属的范围及用途 亲属关系公证. 来 源 //潇湘晨报 编 辑 //陈 妍 亲属关系作为一项独立且常见的公证事项,经常出现在公证人员的日常工作之中. 其中又以办理父母与子女之间的亲属关系居多,但亲属关系是否就仅仅是父母 ... 舌尖上的兔子经理之浅谈中国饮食礼仪中的形式美、伦理美、人情美 很多人搞不明白,兔子经理那么大的实力,为什么开的都是小店,而且大多数都"隐藏"在并不繁华的地段,奇怪的是,生意却出奇的好,四面八方的人驱车打的开着导航往他们那里跑--其实,这里面并 ...