增强现实(AR)智能眼镜的关键技术:标定、跟踪与交互

前言

增强现实AR智能眼镜是当前社会上比较主流的可穿戴AR设备,是除了手机和平板电脑之外最重要的增强现实支撑设备。前面的文章中,我们已经讨论过与光学透视型头戴显示器相关的标定技术,其实增强现实AR智能眼镜就是一种光学透视型的头戴显示器。本文会结合目前市面上的一些主流的AR眼镜设备,对其相关的标定、跟踪、交互技术做出讨论。

增强现实AR智能眼镜介绍

增强现实AR智能眼镜是一种光学透视型的头戴显示器。为什么一定要强调光学透视的特征呢?因为除了光学透视还有视频透视,而视频透视型的增强现实是将AR画面(包括真实元素与虚拟元素)统一渲染后呈现给用户,并非将虚拟元素与物理实景进行光学融合,从技术角度上看实现简单但是无法给用户带来最佳的虚实融合的体验。因此目前的主流设备舍弃了视频式AR,主要转向光学透视型AR。

据笔者了解,目前市面上流行的光学透视型的增强现实AR智能眼镜主要有以下2种类型,如果有遗漏,还请见谅。(1)一体式智能眼镜。这类眼镜的计算单元、电源、显示单元都集成在一起,技术难度高,价格昂贵。例如HoloLens 2。(2)分体式智能眼镜。这类眼镜通常将电源和计算单元独立为一个类似手机的处理单元,但是将显示单元做成眼镜,实现了智能眼镜的小型化和轻量化。但因为显示模块没有供电,智能通过有线方式连接到处理单元上,对用户体验造成些许影响。但不得不说这是一种比较合理的折中方式。分体式智能眼镜的典型产品是Magic Leap One、NED+ Glass X2、Nreal Light等。

以上两种眼镜都可以直接连接到PC上进行调试,因此这里不将基于PC的眼镜单独拿出来讲。

增强现实AR智能眼镜的关键技术

如果你要制作一款可用的AR智能眼镜,有几个技术是逃不掉的。鉴于市场上的AR硬件已经有很多,也算比较成熟,这里只对软件技术进行分析。AR眼镜中涉及到的技术包括:(1)标定技术,帮助用户看得准;(2)跟踪技术,帮助用户走得稳;(3)交互技术,实现信息多交换。下图中为以Google Glass为例,展示这三个技术之间的关联。

2.1 标定技术

相比于跟踪和交互技术,标定技术是一个很容易被忽视但却不可或缺的关键技术。鉴于光学透视型的AR眼镜的特殊原理,我们往往不能直接获得人眼在目标空间中的坐标位置,而需要对人眼和AR眼镜的跟踪系统进行标定,实现“物理环境”-“跟踪系统”-“人眼成像”这条通路,保证人眼能看到准确的虚实融合效果。有很多产品是直接将跟踪摄像头的位置等效为人眼的位置,这样做的结果是人眼看到的虚拟元素与物理实景之间是相互分立的、没有注册好的。直观的表现就是“头一运动,虚拟物体就在飘”。因此,这些产品通常无法为用户提供好的虚实融合体验。目前已知的产品中,HoloLens系列产品是做了这个标定的,因此提供的AR效果也是很好的,还有其他的一些产品由于没有佩戴过,因此先不做评论。

增强现实AR眼镜的标定技术,实际上就是标定人眼与跟踪系统之间的相对位置关系,以及人眼的内参数。这个话题在前面的文章中已经详细讲过,需要的朋友可以参考。

https://blog.csdn.net/zzlyw/article/details/53215105

2.2 跟踪技术

AR眼镜想要实现物理环境与虚拟元素的融合,必须要做到的就是能够跟踪虚拟环境。主流的视觉跟踪技术包括基于图像标记点的跟踪(Image-based Tracking)、基于物体的跟踪(Object-based Tracking)和同步定位与地图构建(SLAM)。在实践中中也会混合入惯性导航来提升跟踪质量。

(1)基于图像的跟踪技术,首先需要对被跟踪的图像进行预处理,得到该图像的特征点集合,然后实时状态下将视频流中的图像进行匹配。

(2)基于物体的跟踪技术,它与基于图像的跟踪技术类似,首先要把被跟踪的物体进行预处理,存储它的各类特征,然后在实时状态下对视频流中的图像进行分析,计算跟踪系统与被跟踪物体的相对位置。

(3)同步定位与地图构建技术,是不需要预处理的跟踪技术,可以在开始后同时完成定位与建图。这种方法虽然使用简单,但是没有办法像前两种方法那样轻松获取眼镜与物理环境中某一指定物体之间的相对位置。所以SLAM技术虽然发展比较成熟,但是如何与AR相结合还值得继续研究。如果对SLAM技术还没有了解的话,可以参考半闲居士的博客(https://www.cnblogs.com/gaoxiang12/)或者其他相关书籍。

2.3 交互技术

对于AR眼镜,比较方便的交互方式是语音、手势和遥控器。语音交互属于人工智能的一个重要研究领域,很多公司(如科大讯飞)已经做出了比较出色的语音交互产品,这对于AR眼镜的交互是具有重要意义的。手势交互因为不需要引入额外的交互设备,只需要用户做出手势就可以输入指令,也在一定程度上促进了AR眼镜交互技术的发展。遥控器作为传统的输入手段,虽然简单但是却能保证准确高效的输入,因此很多AR眼镜产品还是配了遥控器或者触控板作为交互设备。

增强现实AR智能眼镜的的发展前景

既然总说智能眼镜,那么“智能”体现在哪里呢?实现了AR算是智能了吗?当然,实现完善的AR功能是迈向“智能”的关键一步,但是仅仅从信息显示层面做提升还是有些欠缺。AR眼镜的智能还应该包括AR内容本身的智能性特征,这就要涉及到人工智能领域的研究了。因此笔者认为,增强现实AR智能眼镜的研究,绝不仅限于构建一套能够做出AR效果的眼镜,也不要局限于眼镜的穿戴舒适性,还应注意与人工智能领域的结合。

简而言之,AR已经不仅仅是AR,更是以AR为中心的多个研究领域的交汇点,并且还是一个寄托了人们美好生活愿景的研究热点。技术引领未来,希望AR智能眼镜可以像智能手机一样,为人们生活水平的提升带来强大助力。

(0)

相关推荐

  • 寻找AR中的Big Difference - v3.0 | AR指南

    昨天2021.1.16周六@上海的黑设会上,傅嵌华.荔枝君.Nakhqin为我们分享了AR.VR.XR相关的研究.行业动态.创新项目等.在2021新的一年,我有了新的理解,有种曲径通幽.别有洞天的感觉 ...

  • 戴上智能眼镜 与未来交互

    2021世界人工智能大会的人工智能创新大赛成果展示区里,诠视科技的沉浸式交互AR眼镜,融合人工智能技术与5G技术,首次将爱普生光学方案与6DOF交互能力有机结合,实现了3D空间的虚实结合与沉浸感升级. ...

  • 十年一剑智能眼镜的中场战事

    唐代诗人贾岛有句脍炙人口的诗句:十年磨一剑,霜刃未曾试.智能眼镜的发展算起来正好经历了一个十年的变化与迭代.这十年行业跌宕起伏,拍成电影的话也是个情节起伏的大片. 谷歌眼镜在2010年代早期引起了轰动 ...

  • 小米眼镜来了!带着它可否无痕偷拍?光波导技术要走俏了

    上海证券报    2021-09-15 13:10 9月14日,雷军通过个人微信公众号公布,小米穿戴概念新品――小米智能眼镜探索版正式发布,51克的重量跟普通眼镜差不多,可运行Android系统,采用 ...

  • 改变建筑业?国外研究用AR智能眼镜飞大疆无人机,抬头显示方便超视距

    [环球网无人机频道 记者 赵汗青]北美建筑工程媒体ForConstructionPros 4月12日称,大疆无人机超视距飞行(BVLOS)可能会改变建筑业的游戏规则. 据报道,Anarky实验室最近获 ...

  • 智能汽车软件关键技术及应用趋势:以东软集团为例

    目录: 1. 汽车电子电气架构与车载计算平台技术趋势 2. 系统层软件 3. 自动驾驶软件 4. 智能座舱软件 5. 车联网软件 6. 高精度地图 1. 汽车电子电气架构与车载计算平台技术趋势 汽车电 ...

  • 城市轨道交通变电所智能运维关键技术及其应用

    中国电工技术学会活动专区 CES Conference 上海思源弘瑞自动化有限公司.青岛地铁集团有限公司的研究人员张春晓.李国玉.葛欢,在2021年第4期<电气技术>上撰文,在对城市轨道交 ...

  • 智能车辆--智能交通系统的关键技术

    内容简介: 智能车辆作为智能交通系统的关键技术之一,是许多高新技术综合集成的载体.本书以车辆自动导航为核心,共分8章,第1-3章的内容为智能车辆概论.智能交通系统总论.智能车辆的研究现状,系统地阐述了 ...

  • 老外设计这AR智能眼镜,搭载国产微显示器,获多项创新大奖

    增强现实技术正改变着我们和外界交互的方式,而各大公司也纷纷瞄准了增强现实硬件领域,CES 2021大会上,Vuzix就推出了他们的AR智能眼镜. 增强现实技术正改变着我们和外界交互的方式,而各大公司也 ...

  • 智能汽车软件关键技术及应用趋势

    --后台回复"资料",领取特斯拉专利技术解析报告-- 文章转自:旺财汽车电子 智驾最前沿 实时,权威,专业剖析自动驾驶领域! 12篇原创内容 公众号 ↓谈一谈自动驾驶软件↓ ❤更多 ...

  • 刘有为:智能高压开关设备关键技术

    (作者系中国电力科学研究院技术战略研究中心副主任) 一.智能高压设备的历史沿革 1.本世纪初,ABB等提出了智能高压开关设备的概念:基于网络的控制+在线监测. 2.2009年,国家电网公司提出智能高压 ...

  • 专利深一度|智能网联汽车关键技术专利分析

    新一代科技革命和产业变革促使智能网联汽车成为全球汽车产业发展的战略方向,汽车正由传统的机械产品逐步演变为机电一体化.智能化和网联化的高科技产品,呈现出与电子.信息.交通等相关产业紧密相连.协同发展的趋 ...

  • 专门领域的AR商用产品,东芝发布dynaEdge AR智能眼镜

    根据AnandTech的报道,东芝将在本月开售他们的dynaEdge AR智能眼镜.东芝dynaEdge AR是其品牌下首款专为商业和工业应用设计的可穿戴式智能眼镜,该高度集成的解决方案由头戴式显示器 ...