当前位置:   article > 正文

AR/MR产品设计(二):如何用一双手完成与虚拟对象的自然交互_虚拟人交互设计

虚拟人交互设计

AR/MR产品设计(二):如何用一双手完成与虚拟对象的自然交互 - 知乎

手是我们与现实世界交互最重要的方式,同样在虚实混合的世界中是最重要的交互方式

AR/MR/VR的交互中,手势交互会作为XR的重要交互动作,因为手是我们与这个现实世界最基本、也是最重要的交互媒介,而且手就长在我们身体上,在不被占用的情况下随时可以调用。

键盘、鼠标、多点触控板,都是以手为基础完成交互,成为我们的日常工作、社交、娱乐的常用工具。所以,在XR时代,手部也一定是最主要的交互方式。

基于手部的穿戴设备,未来主流用腕表还是指环,暂未定论,所以此文不展开讨论基于手部的穿戴设备形态、与穿戴设备之间的交互以及从穿戴设备获得的反馈。

在这里重点展开聊聊裸手的手势交互。

裸手手势交互适用于AR/MR/VR,在AR中除了大部分场景不需要看到虚拟手臂之外,所以本文讨论的手势交互除了针对AR,对MR和VR同样适用。

手势交互的分类

按时空分

  • 手型和手势:手型是静态的动作,如一个「V」,这是符号手型,不含时间序列;手势是动态的动作,如挥动和移动(有位置、有方向、有轨迹)。从算法难易的角度看,手型易识别,手势难识别。

按学习分

  • 天生手势和学习手势:天生手势是人在自然环境和人文环境中学会的,如指向对象、推动对象;学习手势是用户在和系统交互前,系统需要教会用户的手势,但由于学习成本的存在,所以要减少使用以降低用户认知负荷。

需要学习的语义(概念)手势,如:在一个3D空间中用手势来定义一个弯曲的表面;

什么情况下用手势交互?

  1. 找场景:游戏、社交、医疗培训、物理化学实验场景下的交互常用手势,也就是已有需求,向上找产品;
  2. 根据任务的交互复杂性:根据输入指令的复杂性。复杂度高的情况用手势,而不是手型。多数用于改变目标对象的位置、大小、旋转,或描绘一个概念(如画爱心),但注意,复杂度高的交互意味着学习成本高。
  3. 根据手势的特点:无需强物理反馈,如力反馈。

《Hand Physics Lab》手势交互VR游戏

AR中手势交互的动作特点

首先分单手和双手

双手交互的动作特点

在双手的交互动作中,分对称和非对称。

  • 对称任务:如拉绳子、同步反向移动双手缩放物体;
  • 非对称任务:如键盘上打字。生活中大部分是非对称任务。

对称任务和非对称任务还可以区别是同步还是异步,即同步对称、异步非对称、同步非对称、异步对称。

  • 优势手和非优势手。大部分人的优势手是右手。有些任务是单手完成的,如飞镖;有些动作是双手完成的,如举一个重物,这样能达到更好的认知沉浸效果。

动图封面

拉方块的动作是同步对称动作

非对称任务的每只手作用

  1. 非优势手为优势手调整空间参考系/获取焦点;(如拿手机)
  2. 非优势手完成粗任务,优势手完成精确任务;(如桌上写字)
  3. 操作由非优势手发起。

AR手势的几种动作

单手分两种情况:以手腕为中心,手腕是否位移

  • 手腕不位移:单指——点、扫;双指:捏;多指:抓;
  • 手腕位移:拂、推、拉

如,下图苹果专利中的微手势,腕不位移

苹果专利显示,配合摄像头可实现多种自定义手势的识别

如果没有虚拟交互对象时,手势就是输入指令,则需要确认手势输入的机制,具体为:

要确定一个手势的开始和终止,就要设计一个机制来确认用户是输入手势,而不是常规动作,如确定某个区域为手势识别区域,而不是靠近控制器和显示器的位置,系统在识别出用户手势时,要给出适当的反馈;手势和其他输入方式结合,可能会更高效。

导航手势

  • 大拇指+食指两者捏合。(也可以是拇指+不同手指的不同位置)

优势:捏合可以提供触觉反馈;易于操作和记忆。

导航手势的两种状态:张开和闭合。张开时,移动手腕和手臂可以移动焦点;闭合时,确定用户的行动意图。可以通过闭合时间的长短和「点击」「长按」事件绑定。

  • 手掌挥动。这种方式用于车机交互比较多。

手掌挥动的几个常见动作

近场交互

近场手势交互中的按钮设计

创建特定且视觉上不同的按钮状态,基础状态有默认状态、靠近(XYZ轴上靠近)、悬停(触摸)、按下(向下推)、恢复或离开。

手和按钮相对位置的反馈

  • 在按钮上使用手上的阴影来指示用户的手相对于按钮的位置
  • 从按钮中创建一个可以反射在手上的光泽,以帮助理解深度关系

按下反馈

  • 确保按钮相对于用户的压力(z-press)移动
  • 使用声音指示按钮按下(“单击”)

交互距离设置

  • oculus认为,把按钮放置在最远触碰距离的80%是最合理的,同时按钮要在6CM以上,按钮间有1-3cm距离。同时,用户可能不是垂直按下按钮,所以触碰到按钮时,按钮会左右晃动。边框可以告诉用户按钮在XY轴上晃动的幅度是多少。

手部移向按钮的过程

动图封面

手势与按钮间的交互

近场交互的视觉提示方法

远场交互

用射线交互

手部发出射线与远场虚拟对象交互

设计手势交互注意的问题

优先考虑功能

  • 在设计应用程序时,应该考虑清楚功能以及人们会如何使用功能;
  • 需要快速访问和常用的功能,尽可能提供物理交互。其他不重要、不常用的功能可通过「呼唤」的方式访问,如下图。

锚定于手部的UI菜单

考虑用户情景

  • 要考虑用户的交互对象和空间。如在汽车内就要考虑驾驶员手臂挥动的空间有限。
  • ARVR中要考虑用户能切换左右手,这样用户可以通过切换左右手来减少手部的疲劳。而在AR中,就要考虑用户是否在公共场合使用手势,如是,则对高频的交互任务要采取动作幅度小的手势,以避免让旁人疑惑。
  • 通过系统判断用户是否对交互感到迷茫。当用户卡在某个需要手势交互的环节,则通过弹出动画的方式提供指引。

考虑用户舒适度

在放置对象和UI元素时,始终考虑用户舒适性。尽量减少用以下方式设计交互:

  • 进行大而剧烈的动作
  • 长时间握手姿势
  • 将手臂举过肩膀
  • 完全伸展手臂

视觉获取的舒适度:

  • 默认情况下,请确保虚拟对象和UI元素位于易于访问和清晰视图中。打开用户界面面板时,用户永远不必环顾四周或伸展身体才能到达它。

虚拟对象在视野中

合适的交互对象大小

用户界面组件如按钮和滑块,应根据用户的交互方式调整大小——用户是用一根手指、用两根手指捏一小撮,还是用整只手进行接触?

动图封面

用手指与虚拟对象交互

  • 单指目标不应小于2厘米。用捏合控制的UI组件需要一个稍大的可捏合元素。
  • 确保每个组件周围有足够的空间来执行预期的交互,而不是意外触发其他目标。

手势交互的新手教程

因为在AR/VR中,对用户来说大部分虚拟对象是陌生的存在,用户也就不知道如何跟虚拟对象交互。即,要解决的是让用户知道可以交互,以及如何交互。

体验开始时的互动教程可以告诉用户互动区域和互动方法。表现手/手指的轮廓可以让用户熟悉交互的距离和粗略位置。 下图为「手教练」。

动图封面

  • 用简短的文本提示用户把手放在「描述手」的位置。文本越少,用户需要的努力就越少。
  • 当用户达成正确的位置和姿势,教程要有积极的反馈——将描述手变为绿色以表正确。

让用户找到正确的深度:

  • 通过建立网格和颜色的变化,以表示手在深度上的变化。这也可以通过其他环境因素,如阴影来表现。

教程分批

从新手教程后,如果还有需要教学的地方(开始应用程序或开始新篇章),应逐步引入新的手势和互动。和之前的新手教程一样,让用户主动交互是最靠谱的教学。

使用互动教程的典型需求是:

  • 使用通过捏、拉激活的用户界面控件(下图)
  • 用双手重新调整用户界面面板的大小
  • 用手势激活主菜单
  • 用手势进行运动

动图封面

  • 为了让用户注意力应集中教程上,周边的虚拟环境应尽量少;教程控件的外观和功能应应与实例相似,但可以具有简短的解释性文本和箭头等视觉指南,以帮助首次使用。
  • 教程应提示用户自己成功完成了互动,并返回主菜单,此时用户能成功使用类似控件。

角色模仿

人类擅长通过观察他人来学习。

  • 提前录制好虚拟角色的交互。角色的外表可以很简略,但能有效传达动作,所以要保证在一定的距离内呈现。也可以通过文本来辅助说明。
  • 使用场景:针对步骤较长的教程效果更好(如,学习创建对象、调整大小或重新定位)(不用于展现细微动作)

使用角色模仿的典型需求是:

  • 在环境中操纵物体
  • 使用几乎可穿戴的菜单
  • 用双手重新调整用户界面面板的大小

动图封面

一定要教程: 超越现实的交互

例如,如果用户用双手拿着现有的虚拟块,从小于某个距离再将双手移开,它应该会变大。或者,可以使用相同的操作来创建新块并将其放置在环境中。

动图封面

两手的拇指和食指处于捏合状态,并让指尖小于某距离即可生成对象

  • 在物理世界中,这些行动是不可能的,但是,通过匹配用户关于这种交互如何工作的心理模型,用户可以接受它,并保留他们的沉浸感。

来自现实世界的熟悉交互

动图封面

  • 对象可以以用户认为最自然的方式被拾取、移动、删除、调整大小、抛出、撕成碎片等。不需要抽象的手势和姿势,无需掌握新的精确行为,即可与虚拟对象交互。

通过手势自由交互

动图封面

推/敲击对象。注意设置重量和摩擦力

动图封面

拿起并移动对象

动图封面

旋转对象

自定义手势

  • 交互动作自定义:在一开始使用眼镜时,给一个面板,让用户自定义命令手势,这样用户对自己看到的虚实世界会更有控制感。

少用手势-手势的局限

  • 手势要用于有价值的操作,这能让用户觉得值得学习手势交互(如将面板放大到特定比例);抽象手势可能适合启用运动或调出主菜单用户界面面板。(微软:人们最多记住6个手势)
  • 不适用于精确的操作——将对象精准快速地旋转31°
  • 引入用户常用的输入设备来弥补手势的不足,如鼠标、键盘、触摸屏
  • 手势需要处理遮挡问题。AR眼镜增加深色墨片的方式,会导致真实手和虚拟界面的亮度不一致,沉浸感缺失;

没有处理遮挡关系的手势交互会让人感到困惑

  • 提供尽可能多的反馈。手势缺少有效的反馈:触摸屏你误触到某个按钮时,你是知道的,但是隔空手势你很难得到无意触碰按钮的反馈。不同类型的反馈可以指导互动并增强信心。
  • 不要想当然的认为用户能操作好他的手指,所以要避免将不同的交互操作赋予类似的手部动作。

自动化

人是懒惰的,需要高频交互一定要自动化。

  • 将物体移动至超过某个阈值时,自动执行下一步。如,抓住「来电提醒」面板向更靠近眼前的位置移动,小于某个距离时即接听电话。

动图

虚拟邮件图标小于眼睛某个距离即展开邮件详情

以上是关于裸手手势交互的一些分享。

刚好,这篇文章也是写在Meta 的Hands2.0发布之后。Hands2.0让我们看到能被准确识别的手势可以作为生产力,无论是敲代虚拟键盘,还是将一个虚拟俄罗斯方块移动到对应的位置,还是在虚拟社交中使用肢体语言,都可以准确地实现自己的意图。

只不过,基于灰度鱼眼摄像头的CV方案手势识别,存在现实环境光线不足鲁棒性降低、现实手与现实物体交互时无法实现对现实手和现实物体的完整识别、缺乏基于手部的机械反馈和更多反馈(实现触觉 、压觉、振动觉、痛觉、冷觉和温觉等皮肤觉更是任重而道远),而这些的最终目的,都是还原我们对现实生活的感知。

只有还原我们对现实生活的感知,我们才会对眼前虚拟世界或虚实融合的世界更佳信服。

下一篇是关于AR UI的锚定方式和交互方式。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/489358
推荐阅读
相关标签
  

闽ICP备14008679号