元宇宙火了！终于有人把虚拟现实（AR/VR/MR）讲明白了
导读：最近，元宇宙火了！
“元宇宙”是美国科幻小说家尼奥·斯蒂文森1992年在《雪崩》中提出的概念，书中设定现实世界中的人在网络世界中都有一个分身，这个由分身组成的世界就是“元宇宙”。如今，随着虚拟现实技术的发展，元宇宙逐渐从科幻走入现实。
本文将介绍虚拟现实的核心概念、行业应用以及相关的开发技术。
作者：王寒 张义红 王少笛
来源：华章科技
01 什么是虚拟现实
我们通常所说的“虚拟现实”一词其实包含了多个技术分支，如AR/VR/MR等。
AR是Augmented Reality的缩写，通常被称为增强现实。AR的定义很广泛，技术种类众多。目前主流的AR是指通过设备识别和判断（二维、三维、GPS、体感、面部等识别物）将虚拟信息叠加在以识别物为基准的某个位置，并显示在设备屏幕上，从而实时交互虚拟信息。
VR是Virtual Reality的缩写，通常被称为沉浸式虚拟现实。VR为用户提供了完全沉浸式的体验，使用户有一种置身于真实世界的感觉，是一种高级的、理想化的虚拟现实系统。
除了我们通常了解的AR和VR这两个名词之外，行业内其实还有MR和XR的说法。MR是Mixed Reality的缩写，即混合现实，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里，物理和数字对象共存，并实时互动。
XR是Extended Reality的缩写，即扩展现实。实际上，XR是AR/VR/MR等各种形式的虚拟现实技术的总称。它分为多个层次，包括从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。
2014年，Facebook对Oculus的收购盘活了整个行业。2019年，Facebook推出的Oculus Quest让无数人眼前一亮，可谓“当前VR一体机产品中的翘楚”。2020年9月，Facebook发布Oculus Quest2，并宣布在2021年全面停产Oculus Rift PCVR系列产品。
2015年，微软发布第一代HoloLens全息眼镜，在单一机身中融合了CPU、GPU和全息处理器，并在2019年推出更为强大的HoloLens 2。
在2017年的WWDC上，苹果推出了专门为打造增强现实体验而开发的框架ARKit，以及面向AI的CoreML。同年，Google推出了和苹果ARKit功能相似的ARCore。
2019年9月，华为在旗舰手机Mate 30 Pro的发布会上重磅推出了自家的VR眼镜产品，为业界所看好。
可以预见，未来的虚拟现实产品将不再区分AR/VR/MR，而是一种融合性的产品。与此同时，虚拟现实的实时扫描、环境感知和渲染技术将需要借助人工智能技术，特别是计算机视觉和深度学习的帮助。
虚拟现实技术自诞生以来应用于多个领域—从军事到航空航天，从教育到娱乐游戏，从医疗到旅游，等等。从目前来看，融合了5G/AI等技术的AR/VR设备有望取代智能手机的计算模块。
02 虚拟现实的技术基础
虚拟现实是一种综合性技术，由三大类技术组成，分别是立体显示技术、3D建模技术和自然交互技术，如图1-1所示。
▲图1-1 虚拟现实的三大技术基础
本节将向大家简单介绍以上3种技术的相关知识。
1. 立体显示技术
立体显示技术以人眼的立体视觉原理为依据。因此，研究人眼的立体视觉机制、掌握立体视觉的规律，对设计立体显示系统是十分必要的。如果想在虚拟世界看到立体的效果，就需要知道人眼立体视觉产生的原理，然后再用一定的技术通过显示设备还原立体效果。
1）HMD技术
HMD（头戴显示）技术的基本原理是让影像透过棱镜反射之后，进入人的双眼在视网膜上成像，营造出在超短距离内看超大屏幕的效果，而且具备足够高的解析度。
头戴显示器通常拥有两个显示器，而两个显示器由计算机分别驱动向两只眼睛提供不同的图像，再通过人的大脑将两个图像融合以获得深度感知，从而产生立体的图像。
主流的沉浸式虚拟现实头戴设备，包括Oculus Rift、Oculus Quest、HTC Vive、Sony Playstation VR、3Glasses、Pico VR等，大多基于双显示屏技术。
那么，微软的黑科技产品HoloLens又是基于什么原理呢？
先来看看HoloLens，它相当于Google Glass的升级版，可以看作是Google Glass和Kinect的合体产品。它内置了独立的计算单元，通过处理从摄像头所捕捉的各种信息，借助自创的HPU（全息处理芯片），透过层叠的彩色镜片创建虚拟物体影像，再借助类似Kinect的体感技术，让用户从一定角度和虚拟物体进行交互。
依靠HPU和层叠的彩色镜片，HoloLens可以让用户感觉到这些全息图像直接投射到了现实场景中的物体上。当用户移动时，HoloLens借助广泛应用于机器人和无人驾驶汽车领域的SLAM（同步定位与建图）技术来获取环境信息，并计算出玩家的位置，保证虚拟画面的稳定。
2）全息投影技术
全息投影技术可以分为投射全息投影和反射全息投影两种，是全息摄影技术的逆向展示。和传统立体显示技术利用双眼视差的原理不同，全息投影技术可以通过将光线投射在空气或者特殊的介质（如玻璃、全息膜）上呈现3D影像。人们可以从任何角度观看影像，得到与现实世界中完全相同的视觉效果。
目前，我们看到的各类表演中所使用的全息投影技术都需要用到全息膜或玻璃等特殊的介质，需要提前在舞台上做各种精密的光学布置。这类表演的效果绚丽无比，但成本高昂、操作复杂，需要操作人员进行专业训练。
3）光场成像技术
神秘的Magic Leap采用了所谓的“光场成像”技术。从某种意义上来说，该技术可以算作“准全息投影”技术。其原理是用螺旋状振动的光纤形成图像，并直接让光线从光纤弹射到人的视网膜上。
简单来说，就是用光纤向视网膜直接投射整个数字光场（Digital Lightfield），产生所谓的“电影级现实”（Cinematic Reality）。
2. 3D建模技术
为了打造完美的虚拟现实体验，我们需要从零开始构建虚拟世界，或将现实生活中的场景转化成虚拟世界的一部分。那么，这种虚拟世界如何构建呢？
目前来说，3D建模主要通过3D软件、3D扫描和光场捕捉等方式来实现。
1）3D软件建模
简单来说，3D软件建模就是通过各种三维设计软件在虚拟的三维空间构建出具有三维数据的模型。这个模型又被称作3D模型，可以通过3D渲染技术以二维的平面图像呈现出来，或是通过计算机模拟，或是通过3D打印设备构建。
除了游戏之外，3D软件建模还广泛应用在影视、动画、建筑和工业产品的设计中。目前在游戏、影视和动画领域，最常用的3D设计软件包括3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等，而在建筑和工业产品设计中，最常用的是AutoCAD、Rhino等。
单纯使用3D软件建模的问题在于，一方面高度依赖建模师个人的技能熟练度，另一方面对于现实世界的很多场景、物体和人物无法做到精准还原，很容易进入“恐怖谷”的瓶颈之中。
2）3D扫描建模
在构建虚拟现实世界时，除了使用常规的3D建模技术和实景拍摄技术之外，我们还可以使用3D扫描技术将真实环境、人物和物体进行快速建模，将实物的立体信息转化成计算机可以直接处理的数字模型。
3D扫描仪是利用3D扫描技术将真实世界的物体或环境快速建立数字模型的工具。3D扫描仪有多种类型，通常可以分为两大类：接触式3D扫描仪和非接触式3D扫描仪。
3）光场捕捉建模
光场捕捉建模技术最早应用于Ren Ng创办的Lytro，它通过在单个传感器前放置微透镜阵列实现多个视角下画面的采集，但这种方案会导致分辨率大大降低。
近几年，还有一种方案被Facebook Reality Labs、微软MR工作室、上海叠境、深圳普罗米修斯和微美全息等公司采用，即使用上百个相机的多相机阵列和深度相机组成内环抓拍系统，并对对象进行全方位拍摄，通过高速处理的AI算法和动态融合的系统实时合成对象的立体模型。
需要注意的是，使用3D扫描和光场捕捉建模技术所获取的3D模型与动作动画仍然需要使用主流的3D设计软件进行后期处理。使用3D扫描或光场捕捉技术可以大大提高3D建模效率，减少前期工作量，并实现更为真实的效果。
3. 自然交互技术
随着VR/AR时代的来临，传统的交互方式已经远远不能满足人们的需求。因此，模仿人类本能的自然交互技术成为虚拟现实技术的重要基础。虚拟现实要实现完美的沉浸感，需要用到哪些自然交互技术呢？
1）动捕
为了实现和虚拟现实世界中场景和人物的自然交互，我们需要捕捉人体的基本动作，包括手势、表情和身体运动等。
实现手势识别、表情、动捕的主流技术分为两大类，一类是光学动捕，一类是非光学动捕。光学动捕技术包括主动光学动捕和被动光学动捕，而非光学动捕技术包括惯性动捕、机械动捕、电磁动捕和超声波动捕。
2）眼动追踪
眼动追踪的原理其实很简单，就是使用摄像头捕捉人眼或脸部的图像，然后用算法实现人脸和人眼的检测、定位与跟踪，从而估算用户的视线变化。目前，我们主要使用光谱成像和红外光谱成像两种图像处理方法，前一种需要捕捉虹膜和巩膜之间的轮廓，后一种则需要跟踪瞳孔的轮廓。
3）语音交互
在和现实世界交互的时候，除了眼神、表情和动作交互外，还有语音交互。一个完整的语音交互系统包括对语音的识别和对语义的理解两大部分，不过人们通常用“语音识别”一词来概括。语音识别包含了特征提取、模式匹配和模型训练三方面的技术，涉及的领域包括信号处理、模式识别、声学、听觉心理学、人工智能等。
4）触觉交互
触觉交互技术又被称作所谓的“力反馈”技术，在游戏行业和虚拟训练中一直有相关的应用。具体来说，它会通过向用户施加某种力、震动等，让用户产生更加真实的沉浸感。触觉交互技术可实现在虚拟世界中创造和控制虚拟的物体，比如远程操控机械或机器人，甚至模拟训练外科实习生进行手术。
5）嗅觉及其他感觉交互技术
在虚拟现实的研究中，对视觉和听觉交互的研究一直占据主流地位，对其他感觉交互技术的研究则相对被忽视。目前，已经有一些研究机构和创业团队在着手解决这些问题。
6）脑机接口
脑机接口（Brain Computer Interface，BCI）就是大脑和计算机直接进行交互，有时候又被称为意识–机器交互、神经直连。脑机接口是人或者动物的大脑和外部设备建立直接连接的通道，分为单向脑机接口与双向脑机接口。
- 单向脑机接口只允许单向的信息通信，比如只允许计算机接收大脑传来的命令，或者只允许计算机向大脑发送信号（比如重建影像）。
- 双向脑机接口则允许大脑和外部计算机设备实现双向的信息交换，比如Neurosky（神念科技）的Brainlink。它可以采集大脑产生的生物电信号，并通过esense算法获取使用者的精神状态参数（专注度、放松度）等，实现基于脑电波的人机交互，或是俗称的“意念控制”。
Neuralink公司属于侵入式技术的代表，其产品通过在大脑中植入微型电极和芯片，收集人脑1500个点产生的神经元信号。Neuralink公司使用了一种被称为“神经织网”的技术，该技术通过一种特制的“缝纫机”将只有头发丝1/10粗细的线植入大脑，这种线可以像人的神经一样高速传输各种数据。
虽然植入式技术的难度更大，但在信息的捕捉和传递方面更加精准、可靠，发展空间不可限量。按照马斯克的想法，脑机接口设备的短期目标是治疗一些常见的脑部疾病，终极目标则是让人类和人工智能技术融合，实现人机交互。
关于作者：王寒，资深苹果平台开发者、国内较早的iOS与VR/AR应用开发者、腾讯课堂讲师、知乎专栏“灵猫学编程”作者、蛮牛游戏开发专栏作者。著有《Cocos2D权威指南》《虚拟现实：引领未来的人机交互革命》《Unity AR/VR开发：从新手到专家》等书。
张义红，香港理工大学博士，东华大学信息学院副院长、副研究员，主要研究方向为增强现实、图像处理与模式识别。
王少笛，魔珐科技技术负责人、虚拟数字人探索者、国内首批虚拟现实爱好者、知乎专栏“动作捕捉技术”作者。曾任职于赛隆空间科技，担任产品设计与开发总负责人，主要面向市场主流设备（HTC VIVE、Oculus、Hololens等）开发教育类相关应用。
本文摘编自《Unity AR/VR开发：实战高手训练营》，经出版方授权发布。
延伸阅读《Unity AR/VR开发》
推荐语：全面的Unity3D技能，让小白读者也能轻松上手AR/VR开发。