双变压器用于点云分析
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
继变压器在自然语言处理和图像理解任务中取得巨大成功之后，本文提出了一种新的点云表示学习体系结构，即双变压器网络(Dual transformer Network, DTNet)，它主要由双点云变压器(Dual point cloud transformer, DPCT)模块组成。具体来说，通过同时聚合精心设计的点方向和通道方向的多头自注意模型，DPCT模块可以从位置和通道的角度在语义上捕获更丰富的上下文依赖关系。以DPCT模块作为基本组件，作者构建DTNet以端到端方式执行点云分析。在公开可用的基准上进行的大量定量和定性实验证明了作者提出的变压器框架对3D点云分类和分割任务的有效性，与最先进的方法相比，取得了极具竞争力的性能。
综上所述，作者做出了以下贡献:
提出了一种基于多头自注意的双点云变压器(Dual Point Cloud Transformer, DPCT)模块用于点云处理。该模块通过从位置和通道关联的角度获取长期上下文相关性，从语义上增强了学习点特征的表示能力。
基于作者的DPCT模块，作者构建了一个端到端双变压器网络(DTNet)，直接运行在三维点云上，高效的特征学习。
在三个具有挑战性的基准上进行的广泛评估证明了作者的点云变压器架构的有效性，在三维对象分类和分割任务上实现了具有竞争力的性能。
框架结构
作者提出的双变压器架构的应用，包括三维对象分类，部分分割和语义分割。
作者的双点云变压器的细节
用于点云分析的双变压器架构。最上面的网络用于分割任务，最下面的是三维对象分类框架。
实验结果
作者的DTNet和在ShapeNet部分数据集上的ground truth的定性比较。
结论
最近出现的Transformer为点云深度学习所面临的点排列挑战提供了一种解决方案。介绍了一种端到端点云分析变压器模型——双变压器网络。它的核心组件是作者精心设计的Dual Point Cloud Transformer，它可以通过调查点级和通道级的关系来捕获长期的上下文依赖关系。在具有挑战性的基准数据集上进行的大量实验显示了作者的DTNet的显著有效性，在分类和分割任务上取得了最先进的性能。在未来，需要对点云变压器进行深入的研究，包括减少计算消耗、设计新的操作或网络以及应用于其他任务(语义分割、形状补全、重构)。
论文链接：https://arxiv.org/pdf/2104.13044.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。