3D点云的未来

重磅干货,第一时间送达

点云的不同结果。从左到右依次为原始、阴影、有色、体素化、半角化的点云

接触3D点云以后,我们通常根据Reality Capture的发展进行相应的调整,以获得更加清晰的数据集。相信很多小伙伴都还记得第一次使用激光扫描仪时,对于它的运行速度和获取3D点云结果图都有着非常深刻的记忆。

3D扫描废弃羊毛洗涤设备

但我们是如何开展工作的呢?当时,该处理过程由几个手动步骤组成,例如过滤、配准、清理、分割、分类、划分网格、数字化…… 某些部分(主要是配准,过滤和划分网格)已经得到了很好的发展。但是依旧要为每个应用程序更改数据的性质(例如,从点云到矢量)?

手动数字化过程,可在Flyvast在线点云软件中创建dwg文件

有没有更有效的工作流程?

观察方式

“当我们在熟悉的场景上睁开眼睛时,我们会对可识别的物体产生直接的印象,这些物体在空间框架中连贯地组织着”。

1980年,特赖斯曼用简单的术语定义了人类视觉感知背后的复杂机制。对于正常人来说,这是我们的认知决策系统的主要信息来源。可以通过我们的大脑来扩展,可以迅速适应新的环境,并且通过我们的眼睛捕获的最重要的材料。实际上,大脑每秒仅接收三个“图像”,这些图像经过排序并与先验知识结合在一起,以创建我们所体验的现实。

这个图像有意义吗?

这种机制异常快捷高效,可以在看到红灯时刹车,或者是阅读本文并理解单词的含义。我们的视觉可以 保证“注意力定向”,即大脑无法充分了解周围环境以获得对场景的全面了解。

利用当今的计算能力实现这样的过程是可行的。虽然确实很难模仿这种操作,但是研究我们如何与环境交互信息可以更好地把握发展方向。

比较

首先,它转化为传感器的使用,该传感器可以捕获计算机可用的关键输入。

该图像中的每个矢量都由传感器(人工或自然)引导

然后,我们针对基于收集的数据和可访问的信息存储库的过程,以产生“语义表示”:将概念及其含义整合在一起的场景描述。在这种情况下,空间传感器扮演着我们的眼睛的角色,以获取数字空间资产,并利用现有知识进一步完善为语义表示。

传感器扮演我们眼睛的角色,空间框架成为语义表示,并且标记场景

这种可用性通常是第一个问题。我们的在线认知感知会使用我们的记忆,并且可以在很短的时间内获取所需的证据。使用计算机来镜像此阶段非常复杂,并且寻求一种尽可能多才多艺的解决方案是一项重要的挑战。

尝试虚拟化认知决策系统时的第二个瓶颈是创建语义表示,如下图所示。领域知识的收集和附加到底层空间数据与巨大的集成和挖掘有关数据类型,源或表示形式的复杂性有关。

3D点云表示与3D语义表示

数据

3D点云

主要挑战围绕着传感器收集的数据的特异性。当不需要深度提示时,单个光栅图像或视频流非常有用,但是要模拟我们的3D视觉认知,则需要更丰富的数据基础。现实捕获设备允许获取这样的详尽的3D空间信息,主要是作为点云:{X,Y,Z}(+属性)空间集合,该集合以数字方式代表传感器的强度和局限性所记录的环境。这些工具和获取方法的前景已经足够成熟,可以允许从对象范围到国家范围的真实世界的数字副本,如下所示。

捕获和组合不同数据集的实时多尺度点云

点云大数据

这些所谓的点云的获取变得更加容易,快捷,甚至可以通过非常低成本的解决方案进行访问。不幸的是,所有这些硬件演进都没有跟随其相应的软件演进,这受到5 V大数据问题的严重影响,如下所示。

点云环境下的大数据的五个V

连接大量传感器/方法可创建异构点云数据集(变量),并参与海量数据存储库(卷)的构造。反过来,它降低了处理效率(速度),并提出了将大量点数据转换为可信赖的(准确性)和可操作的信息(价值)的新需求。

可交付成果

在从数据收集到可交付的创建的经典过程中,点云获取和处理工作流通常取决于应用程序。尽管收集步骤可能特定于手头的传感器,但点云即交付的热潮却成为许多行业的实际选择。这种面向任务的场景主要将这些视为空间参考(专家用来创建其他可交付成果),因此是项目与现实的最紧密联系。它带来了准确的现实世界信息,可以基于数字现实进行决策,而不是解释性信息或最新信息。

如今,“大脑”已经成为桌子后面的专家,它将处理点云以提取可交付成果

此外,在特定于应用的交付物中转换点云的过程在时间/人工干预上非常昂贵。对于人类的专业知识来说,要充分地处理大量复杂的信息变得越来越复杂,这些信息通常在一个项目的不同参与者/支持者之间相互矛盾。因此,对于可持续系统而言,关键点是将大的点云数据转换为更有效的流程,从而开启有助于决策和信息提取的新一代服务。

我们需要找到大规模自动化和结构化的方法,以避免特定于任务的手动处理和不可持续的协作。

协同合作

作为人类,我们在大规模合作中collaboration壮成长。我们最大的成就通常是建立在信息,服务等的有效交换上。点云通常非常大,具体取决于收集了多少数据(通常在千兆字节(如果不是TB)的范围内),并且通常注定要存档,以作为创建新型数据和产品的可重用支持。这可能导致指数存储需求陷入僵局,输出之间不兼容,信息丢失以及复杂的协作。

这些实践还表明,没有试图概括框架的尝试,而框架反过来又可以作为进一步互操作性和概括的共同基础。这种缺乏会适得其反,并可能导致参与者之间数据混乱的重新分配,并使对每个独立针对某个应用程序的几个外包服务的依赖性恶化。这强调了研究互操作方案的强烈需求,在该方案中,来自不同域的许多用户可以使用一个点云,每个用户都有不同的需求。

反过来,这将在获取级别引入新的约束,以定义与推理引擎一起使用所需的3D表示的穷举性。当然,这为互连流程以及确保与不同源,卷和其他数据驱动参数的兼容性带来了其他挑战。

自动化

在此连续过程中,反思将从以人为中心的过程转向以自主工作流为导向的研究,以开发自动化和AI来加速推理过程。这对于在需要识别对象的3D捕获工作流中开发点云至关重要。

机器人研究在提供自主3D记录系统方面取得了飞跃,我们无需人工干预即可在其中获得环境的3D点云。当然,遵循这种想法发展自主勘测意味着需要将数据用于决策。没有上下文的收集的点云不允许做出有效的决策,并且需要专家的知识来提取必要的信息并为决策提供可行的数据支持。为完全自主的认知决策系统自动化此过程非常诱人,但提出了许多挑战,这些挑战主要与点云的知识提取,知识集成和知识表示有关。因此,必须专门设计点云结构,以允许计算机将其用作信息提取的基础,

AI驱动的自动对象以无人监督的方式识别的结果。每种颜色代表自动识别的不同类别

结果

所以是的,点云很大。是的,我们需要特定的“技巧”来存储和处理它们,但几十年前的视频也是如此!这对您的特定行业意味着什么?您将很快可以使用3D捕获环境的“大脑表示”,以便您根据自己的意愿进行查询。但是,当然,3D传感器的广阔前景使识别过程成为广阔的研究探索领域!

发展方向

这些想法基于屡获殊荣的论文“智能点云” [1],其中包含有关解决这些问题的有效解决方案的更多技术细节。但是,当然,正如长期研究工作经常出现的情况一样,一开始就会遇到很多问题。

参考文献

https://orbi.uliege.be/handle/2268/235520

交流群

(0)

相关推荐

  • 三维点云分割综述(上)

    标题:三维点云分割综述(上) 排版:particle 欢迎各位加入免费知识星球,获取PDF文档,欢迎转发朋友圈,分享快乐. 这是一篇综述性论文,以下只做概述性介绍,介绍文章已共享在微信群和免费知识星球 ...

  • 清华大学李涓子:AI系统如何实现认知推理?

    认知是人获取和应用知识的过程,知识图谱是人对客观世界认知的表示.人工智能系统如何实现知识的表示和推理? 在2021年世界人工智能大会上,由AI TIME组织的"图神经网络与认知智能前沿技术论 ...

  • 当自动驾驶遇上“蜘蛛侠”

    蜘蛛侠的"spidey senses"(蜘蛛感官),想必曾经令无数中二少年心向往之. 这种超能力可以让他预判身边即将发生的事情,更好地探测和躲避物体,比如躲过子弹.避免被敌人击中等 ...

  • 下一代医院信息平台要解决什么痛点?三甲医院、阿里云、医惠科技的专家PANEL这么看

    拥有20年行业经验的创业软件首席架构师邹悦,曾针对国内医疗信息化的现状做过一个形象的比喻. 他认为,现在的医疗信息化系统好比是一座桥,桥上走的和跑的是患者,桥上的石狮子.花纹等装饰是大数据.人工智能和 ...

  • 关于数据挖掘

    数据挖掘技术(Data Mining)是对数据库中的数据做进一步的处理,提取出隐含于众多数据之中的关系及规律,即"知识",从而为有效的决策或推理提供依据和指导,是当前知识工程领域的 ...

  • 【小知识】《语义饱和》

    你试过没有? 一个字看久了,就不认识了!这种现象叫语义饱和. 即长时间注视一个字,会导致读者对该字的知觉变化,如语义理解程度减弱乃至丧失,及字形分解的现象. 其原因,是此时大脑会仅仅注意字的某一部分, ...

  • 当开放知识网络OKN应用于生物医学、地球科学、金融和智能制造领域时......

    如今,网络技术公司会开发自己专有的知识网络作为关键业务技术.然而,由于这些网络属于技术公司私有且建设成本高昂,政府.学术界.小型企业和非营利组织无法使用这些网络. 相比之下,人们可以建设一个向所有利益 ...

  • “ 走进3D、膜析未来 ”胃肠膜解剖专场成功举办

    " 走进3D.膜析未来 "胃肠膜解剖专场成功举办 欲静沙弥 04-25 阅读 1757 关注 2021年4月24日上午10:00," 走进3D.膜析未来 "围术 ...

  • 新能源云“万里行”①|宁夏:风光无限“云”领未来

    宁夏:风光无限 "云"领未来 --新能源云首家试点单位应用成效透视 行进在能源转型的时空坐标上,国家电网公司始终将目光瞄准更远的将来,为能源发展构筑新的增长极,为能源革命积蓄&qu ...

  • 从百度Q1财报看“云智一体”智能云的未来势能

    撰文 | 何玺 排版 | 叶媛 2006年8月,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会上首次提出"云计算"(Cloud Computing) ...

  • 千亿“云茶”未来可期

    航拍南亢村茶山.奚川江 摄. 彩云网评特约评论员 刘颂寒 近年来,为推动茶产业高质量发展,云南出台了"茶十条""推动云茶产业绿色发展"等实施意见,提升了茶叶生产 ...

  • 音乐源分离以3D点云为条件

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 光固化3D打印云平台!纵维立方将推智能化方案

    △陶瓷3D打印相关展会推荐 2021年4月,南极熊获悉,知名3D打印品牌纵维立方(ANYCUBIC)计划推出光固化云平台智能解决方案,掀起智能化浪潮.自2014年以来,消费级3D打印市场突飞猛进,距今 ...

  • 动点汽车2021未来展望:大众汽车云塑造未来的互联汽车

    西雅图可能不是美国汽车业的温床,但是由于云计算在联网和自动驾驶汽车中的重要性日益提高,这种情况正在改变.近年来,西雅图的绰号 "云城" 不仅指天气,还指的是围绕着世界上最好的云公司 ...

  • 信创云领未来,华云数据打造科技强国新基座

    作者|康翔 编辑|阿冒   设计|沐由 6月10日一早起,手机里最火的几个微信产业群和媒体群就在纷纷修改群名:华云数据"全芯全栈 信创强国". 很快地,华云数据的中国红海报就铺满了 ...

  • 腾讯、网易等游戏大厂加速布局,云游戏未来已来?

    最极客 最具极客精神的新媒体 云游戏到底有啥好处能引得大厂入局?近日,腾讯极光盒子3Pro云游戏定制款正式上架.这款极光盒子3Pro除了具备电视盒子的功能,还内置了腾讯START云游戏,配有START ...