小蓝xlanll

这个屌丝很懒，什么也没留下！

热门标签

[3D Selection]AR/VR/MR虚拟现实环境中的3D场景物体交互方法调研_a fitts' law study of gaze-hand alignment for sele

作者：小蓝xlanll | 2024-03-07 18:04:16

踩

a fitts' law study of gaze-hand alignment for selection in 3d user inter

前言

本篇文章主要是记录自己调研的一些XR环境下的人物交互方法，主要以获取密集且容易被遮挡的物体的算法为主。论文粗读调研为主，如有错误，欢迎指出。

目前已收录算法：

(*号表示有视频演示)
2005 IntenSelect
2006 Smart Ray
2007 Ballon Selection *
2011 SQUAD
2015 Intent Driven Selection *
2018 Precise Head- and Eye-Based Target Selection *
2020 Fully-Occluded Target Selection *
2021 Gaze-Supported 3D Object Manipulation *
2022 MultiFingerBubble *
2023 Gaze-Hand Alignment for Selection *
2023 Bare-Hand Mid-Air Pointing Selection *
2023 Gaze-based Target Selection *
2023 FocalPoint *
后续更新中…

Keywords : Distant Object, Selection, Manipulation, Dense Environments

提示：以下是本篇文章正文内容，下面案例可供参考

一、Overview

1.1 3D Selection 综述文献

2019 Computer Graphics Forum：
A Survey on 3D Virtual Object Manipulation From the Desktop to Immersive Virtual Environments.

2013 Computers & Graphics：
A Survey of 3D Object Selection Techniques for Virtual Environments.

在这里插入图片描述

Difeng Yu (做这块较多的国内学者)：
在这里插入图片描述
截至至2019年的较为经典的交互算法收集：

2017年之前较为经典的算法：
在这里插入图片描述

很多3D手部交互大佬都推荐的一本书3D User Interfaces: Theory and Practice，涵盖了很多的交互算法设计思路：
在这里插入图片描述

2018 SIGGRAPH 的 Course (3D User Interfaces for Virtual Reality and Games: 3D Selecotin,Manipulation, and Spatial Navigation)，讲解了部分交互算法的实现和心得体会：
在这里插入图片描述

1.3 部分文章对3D Selection算法的简单总结

2023 SIGCHI
Exploration of Bare-Hand Mid-Air Pointing Selection Techniques for Dense Virtual Reality Environments
按照算法本质对交互方式的分类：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

2023 IMWUT
FocalPoint Adaptive Direct Manipulation for Selecting Small 3D Virtual Objects
按照交互物体密度/尺寸/距离对交互算法的分类：
在这里插入图片描述

二、历年来较经典文章

2.1 2000年-2010年

2005 IntenSelect

2005 EGVE
IntenSelect: Using Dynamic Object Rating for Assisting 3D Object Selection.

在这里插入图片描述

简介：Ray-casting是常用的selection技术，但在拥挤的环境中，一个物体很有可能靠近其他物体(杂物)。当使用光线投射指向一个远程物体时，另一个物体也很有可能在光线的路径上，从而出现误触的情况。通过改变光线的角度和位置或在场景中放大，我们可以找到一条自由的选择线来避免这种遮挡状态。我们设计了一种新的按体积选择(selection-by-volume)技术，其使用一个新的评分函数来计算对象的分数，这些对象属于用户控制的圆锥选择量。通过累积这些对象的分数，我们获得一个动态的、与时间相关的对象排名。最高级别的对象，或活动对象，是通过弯曲原本笔直的选择射线来表示的。由于选择光线被有效地捕捉到对象上，用户现在可以更容易地选择对象。

简单来说，用户手部会投射出一根光线，随着时间推移，光线能逐渐指向后面被遮挡的物体(即被遮挡物体分数逐渐上升)。

2006 Smart Ray

ACM Symposium on User Interface Software and Technology
The Design and Evaluation of Selection Techniques for 3D Volumetric Displays.
在这里插入图片描述
Smart Ray的设计基于这样的想法：两条射线的交点可以定义 3D 空间中的一个点。

不过Smart Ray不是获取两条同时定义的射线的交集（不然需要第二个输入设备），而是在一段时间内获取多次单个射线的交集，并使用基于目标权重的算法来确定当多个目标相交时应选择哪个目标。

2007 Balloon Selection

2007 3DUI
Balloon Selection: A Multi-Finger Technique for Accurate Low-Fatigue 3D Selection

Balloon Selection 演示视频
在这里插入图片描述

实现了一种类似于鼠标的3D光标交互方法，左手控制高度，右手控制位置。

2011-2020年

2011 SQUAD

3DUI
Rapid and accurate 3D selection by progressive refinement
在这里插入图片描述
由粗到细：第一步使将球体投射到最近的相交表面上，以确定哪些对象可供选择。

第一阶段完成后，所有位于球体内部或接触球体的对象都会均匀分布在屏幕上的四个象限中，论文将其称为四元菜单。

在四元菜单阶段，用户通过重复指向包含他们正在查找的项目的象限中的任何位置来细化选择，每次都会减少选项的数量。每个象限都有多个对象，直到只剩下所需的对象。

2015 Intent Driven Selection

3DUI
IDS: The Intent Driven Selection Method for Natural User Interfaces
在这里插入图片描述
IDS技术使用在手的内表面生成的邻近球体，以便手指触摸球体的内表面。

球体的大小根据用户的置信度而变化。手的位置和握力表明了置信度。

2018 Pinpointing : Precise Head- and Eye-Based Target Selection

SIGCHI
Pinpointing: Precise Head- and Eye-Based Target Selection for Augmented Reality.

视频演示

在这里插入图片描述
介绍了眼睛/头+手势/设备等8种多模态组合交互方式的优劣。其中，头部射线准确率交互方式高：

眼动射线交互时间低：

2020 Fully-Occluded Target Selection

2020 ISMAR
Fully-Occluded Target Selection in Virtual Reality

视频演示

在这里插入图片描述

实现了世面上常见的七种算法，并改进了其中三种。

七种算法：
Alpha Cursor:射出一条能改变长度的射线。
Flower Cone:选择一块候选区域，然后候选区域内的物体2D展开(类似于游戏中的背包界面)供选择。
Gravity Zone:可以将物体推远或拉近，从而获取被遮挡目标。
Grid Wall:简单粗暴的直接将场景中所有物体展开出2D形式供选择。
Lasso Grid:射出一条线，线周围的区域为候选区域，将区域内的物体2D展开供选择。
Magic Ball:制作一个类似于小地图的东西，小地图上显示的是所有物体的缩影，以便用户在掌中地图直接选取所需物体。
Smash Probe:用一根射线将线周围的物体推开，直到露出被遮挡物体。(好玩但耗时长)

改进的算法建议看视频，更直观。这里只讲其中一个例子。
Lasso Grid++:改进后的Lasso Grid可以直接用射线画一个区域，然后2D展开，类似于Flower Cone。

2021-2023年

2021 LenSelect

LenSelect: Object Selection in Virtual Environments by Dynamic Object Scaling
在这里插入图片描述

本论文提出了一种新的虚拟现实选择技术，称为LenSelect。其主要理念是根据Fitts定律通过动态增加潜在可选择对象的大小来降低难度指数(ID)。它实现了一种透镜畸变效果，从而动态地增加了有效目标宽度。这有利于选择过程，特别是在小的，遥远的或部分遮挡甚至移动的物体的情况下。我们在用户研究中评估了我们的方法，并将结果与两种最先进的选择技术和标准的基于射线的选择进行了比较。我们的结果表明，LenSelect的性能与最快的基于光线的选择方法相似，同时显著降低了44%的错误率。

简单来说，动态更改要选的目标物体大小，从而从一众细小的物体中选择出大的目标(煤气罐逐渐增大)。