科学家发明能摸到的全息投影:虚拟篮球的触感宛如真球

看见篮球的 3D 全息投影已经不稀奇,但如果你能拍打、触摸这个篮球幻像,而且能感受到它的弹性呢?

英国格拉斯哥大学的一个工程师团队提出一种新方法,能创造跟全息投影进行物理交互的感觉。

▲ 超高精度模拟真实触觉反馈,比 VR/AR 更轻便的虚拟交互

当你用不同力度拍这个虚拟篮球时,你的手掌会感受到不同的弹性力道,就像在拍一个真球,你的手、手指和手腕都会有逼真的触感。

而实现这样宛如科幻片里的互动体验,完全不需要可穿戴或手持外围设备,比传统的 VR/AR 系统更加轻便。

这项研究的论文题目为《交互式立体显示的伪全息投影和气动反馈》,已发表于 WILEY 智能系统领域旗舰刊 Advanced Intelligent Systems 上。

论文链接:点此直达

三种模式,让虚拟篮球拍起来像真球

如何做到逼真的篮球弹跳触感?

研究团队打造了一个带有气动触觉反馈设备的伪全息投影。

▲ 用于交互式立体显示的带有气动触觉反馈的伪全息投影

如图,其开发的系统有 3 个主要组件,分别是伪全息显示、手势识别模块和触觉反馈设备。这些组件被连接到主计算机,并通过基于 Unity 平台的内部构建程序进行控制。

其中,伪全息显示基于 Pepper 的幽灵投影方案,创造了一种物体“漂浮”在空中的错觉;手势识别模块使得用户可用手势与虚拟对象进行交互。

除了视觉反馈外,该系统通过提供触觉反馈来提供更真实的交互感。

其触觉反馈设备名为 Aerohaptics,当用户操纵虚拟物体时,该设备使用指向用户手上的加压空气喷射,来复制触摸感觉,同时它还提供位置和强度控制,以适应各种交互场景。

根据全息投影与用户之间的交互性质,Arduino 控制器单元可区分多种操作模式,包括恒压模式、手部标志选择模式和手部跟踪模式。

在恒压输出模式下,无论手的空间位置如何,系统都会向用户提供恒定的气动反馈,即用户会感受到相同的压力。

在手部标志选择模式下,算法可以选择用户手的哪个部分(共 6 个标志,每个指尖各 1 个 + 手掌上 1 个)是跟踪系统的目标,系统可以准确地提供气动触觉反馈给不同的手部标志。

在手部跟踪模式下,压力基于 3D 虚拟成像的拓扑与用户手的运动交互,Arduino 控制器单元将手指速度值直接映射到压力调制单元,使用户感觉像触碰到一个真实存在的东西。

比如用户试图拍打全息篮球时,将收到与拍打球时“感知”的力度成正比的气动反馈,能感受到球从指尖滚动时“圆圆”的形状,以及球弹回手掌时的弹跳压力变化。

定位精准到手指,拍得越重反弹越猛

随后,研究团队用实验展示了其系统的两项功能,即触觉反馈传递的准确定位控制和可调触觉反馈强度。

首先在控制触觉反馈传递的位置方面,系统可控制空气喷射以非常高的精度指向不同位置。

系统中的商业手部跟踪设备可以检测到用户手部的不同位置,包括手指、手掌、手腕等,跟踪系统和气体喷嘴能准确控制触觉反馈的传递位置。

为了证明这一点,Aerohaptics 系统被编程为按顺序瞄准用户手上的单个指尖,研究人员在用户指尖上粘了纸条,这样就能清晰看到喷气的位置是否精准。

从上图(d)中可以看到,空气会集中喷在目标手指上,相邻手指上粘的纸条没有受到干扰。

其次,为了提供不同强度的触觉反馈,其系统包含一个气流控制机制,以调节喷到用户手部的空气量。这在很多情况下都很有用。

比如,当用户的手离空气喷嘴越来越近或越来越远时,触觉反馈的强度可以保持不变;当用户试图迅速猛拍虚拟篮球,会产生更强的触觉反应;当用户拍打幅度很轻时,球的反馈强度也会相应降低。

研究人员在用户的手掌上放了一个力传感器,并记录了触觉反馈的强度,获得的图像结果显示了虚拟篮球三次硬弹跳后气流变化,然后是三次较软的气流,从而致使传递给用户手的力发生了变化。

比其他全息显示功能更全

Aerohaptics 系统由格拉斯哥大学詹姆斯・瓦特工程学院的 Ravinder Dahiya 教授领导的可弯曲电子和感应技术(BEST)小组开发。

Dahiya 教授说,近年来,触觉反馈和立体显示技术取得了长足的进步,使我们更接近于与虚拟对象进行逼真地交互。

但当前的触觉技术往往要用到可穿戴或手持外围设备,其高成本与复杂性可能会阻碍该技术的普及。

与其他交互式全息显示相比,Aerohaptics 系统能将其他系统实现的 360° 视角、空中手势识别、触觉等功能合在一起,同时无需用户连接设备。

相对于其他在 3D 虚拟环境中提供触觉反馈的技术,启动触觉反馈系统拥有反馈定位和强度控制等优势,并保持较低的复杂性和低成本。

结语:未来或引入嗅觉反馈

总体来看,与在虚拟环境中提供触觉反馈的其他方法相比,Aerohaptics 系统是一个成本效益高的解决方案,复杂性相对较低。

研究团队正在考虑给系统添加更多触觉反馈功能,比如温度变化带来的感觉,嗅觉反馈也可以通过该系统在气流中引入各种气味来提供。随着后续进一步发展,Aerohaptics 系统拥有实现多种感官相互作用的潜力。

这在现实生活中的应用有相当广阔的探索空间,比如可以为远程电话会议创造更逼真的 3D 渲染互动,帮医生在虚拟空间执行棘手的操作,或者让医生远程指导机器人进行真正的手术。

(0)

相关推荐