隔空操作有哪些应用场景?|mixlab人机交互技术

VR、AR是目前来看,隔空操作最佳的落地场景。
Leap Motion发起的一个开源AR项目
物理和虚拟世界融合在一起,这种体验的核心技术是手部追踪,手势解锁特别适合虚拟/增强现实类应用。
作为一种新型的人机交互技术,不止技术方面还需要打磨,设计上更是缺少最佳实践。
谷歌的mediapipe最近更新了holistic ,可以让我们同时计算人脸关键点、人体姿态、手势等,在普通mac笔记本上可以达到20fps的处理效率,技术上初步具备新型隔空输入交互的条件。

经过实验,holistic算法存在抖动问题,识别结果不够稳定,导致坐标位移抖动情况的发生。
交互设计上我们需要考虑设计上如何适应目前的技术条件。这里我想到了苹果在今年发布会上,提出Design for Intelligence有一个非常重要的设计理念,真正做到以用户为中心的智能设计。
Intelligence:帮助用户简化不同任务的交互路径,让用户用最少的步骤完成最重要的事情。而隔空交互,是否可以达到简化不同任务,最少步骤完成的目标?有待实验。
holistic总体实验下来的感受是交互需要有一个“确认”的过程,但是隔空操作本身追求的体验应该是“快”,为了准确率问题而加入“确认”动作反而降低了体验效果。需要好好思考这两者之间的关系。
另外,我们还需要考虑保证能够方便的取消或忽略不适当的隔空操作;保证系统出错时用户可以对其进行编辑、修改、或者恢复设置等等。
总的来说,目前属于非常新的研究方向,值得探索,挖掘更多适合的使用场景。
体验访问:
https://mediapipe.dev/demo/holistic_remote
参考资料:
https://ai.googleblog.com/2020/12/mediapipe-holistic-simultaneous-face.html?m=1
欢迎留言或社群交流
(0)

相关推荐