VR中多模式异步协作的挑战和设计考虑因素_多模态虚拟现实交互技术可行性分析

VR中多模式异步协作的挑战和设计考虑因素

原作者：

KEVIN CHOW, University of British Columbia, Canada

CAITLIN COYIUTO, University of British Columbia, Canada

CUONG NGUYEN, Adobe Research, USA

DONGWOOK YOON, University of British Columbia, Canada

对协作虚拟环境（CVE）的研究建议捕获和稍后重播多模式交互（例如，语音，肢体语言和场景操作），我们将其称为多模式记录，作为时间分布式协作者的有效媒介以身临其境，表现力和异步的方式讨论和审查3D内容。但是，在理解这种多模式异步VR协作（MAVRC）上下文如何影响中介通信中的社会行为，合作工作中的工作区意识以及用户创作和使用多媒体记录的要求方面，存在实证知识的空白。本研究旨在通过将MAVRC概念化为CSCW的类型，并通过理解MAVRC系统的挑战和设计考虑因素来解决这些差距。为此，我们进行了一项探索性需求调查研究，参与者（N = 15）使用实验性MAVRC系统在异步协作的环境中完成了具有代表性的空间任务，涉及消耗和制作多模式录音。对研究中访谈和观察数据的定性分析揭示了MAVRC在以下方面的独特、核心的设计挑战：（1）协调异步协作者之间的近距离行为；（2）在不同版本的3D场景中提供可追溯性和变更意识；（3）适应性观点控件以保持工作空间意识；（4）支持多模式记录的导航和编辑。我们讨论了设计的含义，对潜在的设计解决方案进行了构想，并以针对MAVRC系统的一组设计建议作为本文的结尾。

CCS的概念：以人为本的计算→虚拟现实；协作互动；计算机支持的合作工作； 应用计算→混合媒体创建；

关键字：多模式记录，虚拟现实，异步协作，空间任务，3D，语音，手势，肢体语言，指向，状态，沉浸感，近邻。

 

ACM Reference Format:

Kevin Chow, Caitlin Coyiuto, Cuong Nguyen, and Dongwook Yoon. 2019. Challenges and Design Considera

tions for Multimodal Asynchronous Collaboration in VR. In Proceedings of the ACM on Human-Computer Interac

tion, Vol. 3, CSCW, Article 40 (November 2019). ACM, New York, NY. 24 pages. https://doi.org/10.1145/3359142

Authors’ addresses: Kevin Chow, kchowk@cs.ubc.ca, University of British Columbia, Vancouver, British Columbia, Canada;

Caitlin Coyiuto, coyiutoc@students.cs.ubc.ca, University of British Columbia, Vancouver, British Columbia, Canada; Cuong

Nguyen, cunguyen@adobe.com, Adobe Research, San Francisco, California, USA, 94103; Dongwook Yoon, yoon@cs.ubc.ca,

University of British Columbia, Vancouver, British Columbia, Canada.

Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. Copyrights for third-party components of this work must be honored. For all other uses, contact the owner/author(s).

（如果不为牟利或商业利益而制作或分发副本，并且副本带有此声明和第一页的完整引用，则可以免费提供用于个人或教室用途的部分或全部本作品的数字或纸质副本的许可，必须尊重此作品的第三方组件的版权。对于所有其他用途，请与所有者/作者联系。）

© 2019 Copyright held by the owner/author(s).

2573-0142/2019/11-ART40 $15.00

https://doi.org/10.1145/3359142

1 引言

协作虚拟环境（CVE）逐渐成为有前途的CSCW平台，分布式利益相关者可以通过该平台创建，讨论和审查空间内容（例如3D模型，房间布局，动画，如[7，28，71，79]）。 在诸如建筑公司，视频游戏公司和设计机构之类的创意产业中，此类内容变得越来越重要。 同时，在这些领域中，现代员工队伍也越来越全球化和分散，从而增加了对跨不同时区或工作时间的团队之间支持异步协作的需求。 在这些情况下，成功的协作取决于对异步的支持，与同步通信相比，异步具有多个独特的优势，例如：工作并行性，灵活的时间协调，可审阅性和反思性[40，58]。 Tam和Greenberg [76]深入讨论了异步协作在共享工件演变中至关重要的几种情况。

随着虚拟现实技术的进步，沉浸式3D环境中的异步协作已成为活跃的研究领域[14、32、44、50、60、67、80、85]。 在这些VR系统中，多模式记录-捕获，随后回放多种动态交互模式（例如语音，运动，肢体语言和对象操作），是异步协作的基础。 然而，在这些研究中，多模式记录仅被视为系统的许多功能之一，该系统是为特定目的而设计的，例如培训[85]或3D设计[80]。 文献的状态为在VR中多模式录制的概念化以及对它的普遍理解提供了更多的实证研究空间[84]。

我们旨在解决在概念化和理解作为CSCW类型的多模式异步VR协作（MAVRC）方面的知识鸿沟，并以对它的挑战和设计考虑因素的经验理解为后盾。 VR，CSCW和HCI文献揭示了MAVRC的三个方面：在媒介沟通中的社交行为，在合作工作中的意识以及创作和使用多媒体。 使用这些方面作为知识的视角，我们开始通过提出以下研究问题来识别和解决这些知识差距：

社会行为如何从面对面转移到MAVRC？ 在虚拟现实中，合作者可以利用具有多模态沟通能力的虚拟化身，将社会规范的不同方面（例如，近义，偏见，焦虑等）转移到CVE中，甚至放大或减少[4，26，73] 。 但是，MAVRC与以前的研究根本不同，异步通信是一种单向通信，即消息发送者无法实时响应查看者的询问。 这是一个悬而未决的问题，用户在多大程度上或根本没有感觉到异步协作者的3D表示形式在社交中的存在并向其显示社交行为（例如，如果录制的化身破坏了他们的私密空间，他们会感觉如何？ ）。

在MAVRC中保持工作区意识和协调的挑战是什么？ 为任何CSCW系统的成功提供至关重要的支持，以为其建立和维持对他人活动的不同类型的意识提供适当的支持：工作空间意识是对正在发生的事情和他人正在做的事情的了解[17、25、36]； 异步更改意识是通过时间分布的协作者的贡献了解共享工件（例如3D模型，源代码，文档）如何演变的知识[76]。 MAVRC设置处于3D与异步的交集处，在这种情况下，空间遮挡，有限的视点和缺乏实时反馈机制（例如，可能发生异步协作者的动态活动）的结合会加剧意识的挑战 用户的观点，而协作者将不知道如何吸引用户的注意力）。

图1.使用我们的实验系统捕获和重放空间协作任务的语音，指向和头部运动； （在录音制作者看来是左边）远程协作者请求移动工厂的位置； （对录音用户而言是右边）异步收听者会重放录音，并在远程协作者通过多模式交互表达自己时观看远程协作者的化身。

为了回答这些问题，我们在实验系统的基础上进行了定性，探索性需求发现研究，以支持沉浸式VR中的多模式记录。我们的参与者受命通过查看和记录多模式交互来执行异步协作3D设计任务。我们的观察和访谈的主要发现包括：（1）参与者在观看录音时感觉到异步协作者的社会存在，导致近距离行为和同理心；（2）沉浸在VR中可能会在观看多模式录音时带来挑战，例如视点从3D场景的不同版本中迷失方向或感到困惑，（3）记录（和观看）共同表达的语音和肢体语言使参与者能够有效表达（并理解）细微差别的想法，但强调了编辑（和浏览）工具的需求。我们讨论了这些发现对设计MAVRC系统的意义，并提出了一组设计建议。四个概念验证界面的演示和初步评估为我们设计隐含的可行性提供了支持

本文的贡献包括三个方面：（1）基于多模式记录的VR中异步协作的概念； （2）关于用户挑战的经验发现，这些挑战包括在MAVRC中尊重代理，保持意识以及消费/制作多模式记录； （3）异步协作的多模式记录的设计含义：主动的近程管理，动画3D动画，用于感知的视点显示以及3D导航提示。 我们还谈到了MAVRC研究结果到非VR异步3D交互（例如AR，移动3D等）的可移植性和通用性。 通过探索VR中的异步协作，这项工作为更丰富的协作形式开辟了新机会，减轻了地理和时间障碍带来的挑战。

 

2相关工作

我们的研究结合了来自HCI，CSCW和VR文献的异步协作，CVE和多模式注释的主题。

2.1  支持异步协作的工具

异步协作是指参与者在不同时间进行交互的协作方案。 CSCW研究人员建立了理论框架，以帮助确定异步协作的收益和挑战。 奥尔森和奥尔森将时间分布式协作的优势理论化为工作并行性，协调灵活性，可审核性和反思性[58]。 Tam和Greenberg提出了变更意识，即用户跟踪对共享工作区进行的非实时变更的能力，这是在设计用于共享文档和图形工件的异步协作系统时的重要考虑因素[76]。 在这些CSCW框架的指导下，HCI的主要焦点之一就是为各种应用开发异步协作工具：视频会议[77]，数据可视化[39]，网络搜索[54]以及审阅和反馈[63] ，64，86]。

但是，由于这些框架和工具是为2D环境中的应用程序开发的，因此目前尚不清楚异步协作的挑战和设计注意事项如何在VR中以不同的方式展现自己。 我们的研究通过确定VR协作特有的问题扩展了过去的研究。

2.2  虚拟现实中的多模式异步协作

具有数字化构建环境和强大空间跟踪功能的虚拟现实系统可以在协助协作方面提供令人信服的机会。 在协作虚拟环境（CVE）领域，研究人员致力于利用VR提供更有效的手段来支持通信和信息共享[74]。 但是，大多数研究都集中在同步协作的应用上，例如联合任务[24、65]，通过鬼手比喻[78、85]，远程呈现[59]或审阅和反馈[56]进行指令 ]。 我们的研究旨在发现异步VR协作特定的设计注意事项。

在我们的研究中，MAVRC的前提是基于先前关于异步协作的VR系统的许多成功研究。 V-Mail [44]和MASSIVE-3 [32]与MAVRC最相关，因为它们支持捕获和重播丰富的多模式交互。 基于多模式录制概念在不同领域中构建了一些应用程序，包括体系结构审查[35]，创意反馈[56、80]，培训[85]和远程通信[14、60、67]。 这些研究的主要重点是开发新颖的交互技术或概念或设计新的技术管道。 相比之下，我们旨在提供广泛的经验证据，以帮助我们了解MAVRC的用户需求，挑战和设计考虑的范围。

最近，Lindlbauer和Wilson [50]概念化了几种类型的时间操作，包括暂停，循环和捕获的3D场景的重播，作为混合现实中可能交互作用分类法的一部分。 我们的研究通过在协作环境中进行以时间为中心的全新工作视图来补充这一点。

2.3  多模式记录和注解

异步协作的核心是跨时间交换消息。异步通信的早期示例通常是文本的（例如，电子邮件或文本消息）。随着音频捕获设备的普及，在HCI和CSCW中已广泛探索了将记录的语音（例如语音邮件）用于表达消息。通过录音，消息制作者可以利用副词提示（例如，语调，暂停时间，精力）来传达模棱两可和复杂的想法[13]。语音注释/注释由于其丰富而细微的表现力而被广泛用于包括在线讨论[52]或文档审阅[55]在内的各种应用程序中。受媒体丰富性理论[18]和奉献手势的概念框架[17]的启发，几种多峰注释系统已尝试通过结合多种面对面的启发性模式（如墨水+语音）来丰富交流和协作[75，83] ]，上墨+手势+语音[86]和视频+手势叠加[38]。

表达丰富性的好处是以浏览和编辑为代价的。 Grudin在其关于CSCW应用程序的开创性工作中[34]坚持认为，语音邮件不受欢迎的主要原因是因为其浏览和导航功能非常缓慢且乏味。为了应对这一挑战，HCI研究人员提出了各种方法，例如使用语义导航提示，例如标题[82]，笔触[75]，手势轨迹[86]，视频缩略图[66]，观看者的集体导航轨迹（例如，跳过和跳过）。 [47]，或直接沿其运动轨迹操纵视频内视觉实体[57]。除浏览问题外，在Yoon等人的研究中，将基于语音的文档注释工具部署到教室，还发现，对有效的界面进行编辑和修改录音的支持对于语音注释工具的成功至关重要。 [87]。针对这一问题，研究人员设计了有效的多模式编辑解决方案，例如使用时间对齐的字幕作为编辑音频和视频的代理[8，68]。

与之前在2D媒体上进行的研究相比，我们的经验设置是在3D中，身体运动和场景操作的记录是多维数据流。我们的研究确定了用户查看，浏览和修改此类数据的特定需求。

2.4 VR和HCI中的近距离交互

最初在霍尔的开创性著作[37]中引入的Proxemics，描述了人际距离表达社会情境的方式。随着现代计算系统对用户的实际存在和社交环境变得敏感，设计近距离交互吸引了HCI研究人员的关注[5]。格林伯格，马夸特（Marquardt）及其同事（人机交互（HCI）中的先证医学的先驱）提出了将人称医学作为人机交互的一种新形式[31]。由于虚拟现实的内在本质，许多研究人员研究了CVE中人际距离的社会含义。最相关的工作是Bailenson等人的沉浸式VR [4]研究。他们发现，人类的近距离行为，例如远离侵入个人空间的具体代理，可以在协作VR环境中进行转移甚至放大。同样，Schroeder及其同事表明，VR用户将这种行为表现为具有高度行为真实感的交互式化身[70]。我们的研究通过暗示可以将近距离行为转移到异步CVE，从而增加了这一文献。

 

3 方法

我们的探究模式旨在探索和启发多模式记录可以支持和影响MAVRC中的空间任务的方式。 回答此类问题需要定性的数据收集和分析程序。 因此，我们收集了访谈和观察数据，其中受试者在异步协作的环境中经历了代表性的空间任务。 首先，我们描述了我们的实验系统，该系统使受试者能够在CVE中创建和使用多模式记录，然后详细介绍我们的任务，过程和分析方法。

3.1  实验系统：用于创建和查看3D多模式记录的CVE

为了研究MAVRC的本质，我们需要具有代表性的MAVRC系统实例1，在该实例中可以扎实参与者的用户体验，并可以执行实验任务场景。 我们受到了现有MAVRC系统[14、50、60、67、80、85]的共同点的启发，这些系统包括捕获和重播多种交互方式，这些方式被认为有助于VR中空间任务中的通信。

3.1.1多模式记录

在MAVRC系统中，多模式记录封装了时间同步的交互流，可以将其捕获然后重播，类似于视频记录中的像素和音频流，但以3D形式。 对于我们的实验系统，我们选择了（1）语音，（2）身体手势（例如，头部和手部的移动，移动和指向），以及（3）对场景对象的操作作为核心交互方式。 选择这些模式是因为它们可以在CVE中实现空间任务的丰富表达，并且可以使用大多数现成的VR系统轻松捕获。

在录制回放时，制作者的身体手势和动作通过虚拟现实中的虚拟角色来表示。在捕获过程中，制作人的语音也会在空间上与化身的变化位置同步，从而形成音景。我们选择了一个简单的，与身份无关的头像设计（图1（右））。建模的视锥台表示化身的头部方向，两个控制器代表他们的手。控制器可以发出激光指示器以突出显示目标对象，以支持定向参考。集成高度真实的头像设计以显示各种情感和手势交互，可能会带来复杂的挑战（例如，跟踪仪器，计算复杂性），这超出了我们的讨论范围[30]。

在异步协作中，多模式记录是时间分布式协作者交换沉浸式和表达性消息的媒介。我们系统中的记录类似于批注，这些批注锚定到某些主文档中，或者在基于VR的多模式记录的情况下，锚定到给定的主3D场景。就像注释不会更改正文一样，制作人在创建记录时进行的场景更改也不会更改主场景。 3D版本控制的解决方案是一个超出本文讨论范围的开放性问题，因此未实现。相反，我们专注于发现在MAVRC中跟踪3D场景之间的变化的特定挑战。

3.1.2创建和查看多模式录像

我们的系统使用简单且熟悉的界面来创建和查看记录，并以典型的屏幕记录或视频播放器应用为蓝本。

要创建记录，用户可以单击世界稳定的VR菜单上的“ REC”按钮。蜂鸣声响起，并且取景器覆盖在用户的视图上，以指示正在进行捕获（图1（左））。再次单击同一按钮将停止并保存记录。除了用户同步的语音，手势和头部手势以及场景操作（某些输入类型的指示符，例如传送弧或激光指示器轨迹）之外，还可以保存，以保持视觉一致性。

要查看，用户可以浏览菜单中保存的录音并选择一个。基于标准时间线的小部件允许用户控制播放。尽管存在先进的空间回放机制[50]，但我们有目的地采用简单且熟悉的基线界面。单击退出图标按钮将停止录制回放，从而使用户返回主场景。在回放过程中，基于捕获的交互流，虚拟角色将对3D场景进行语音，手势和操作。

3.1.3仪器

我们在Unity中为HTC Vive开发了实验系统，该系统包括一个VR耳机（FOV：110°，刷新率：90 Hz，分辨率：每只眼睛1080×1200像素）和一对6自由度控制器[42]。 该系统在Alienware 15 R3笔记本电脑上运行，该笔记本电脑配备了Intel Core i7-7700HQ CPU @ 2.80GHz处理器和NVIDIA GeForce GTX 1070显卡。

值得注意的是，MAVRC是CSCW的一种，而不是我们为此研究构建的实验系统的名称。 因此，来自先前研究的现有系统可以称为MAVRC系统。

图2.描绘参与者完成实验任务的步骤的示意图，从（a）查看记录到（b）适当地编辑布局，以及（c）生成“响应”记录开始。

 

3.2  实验任务：审查和设计VR环境

在我们的研究中，参与者执行了对协作3D内容设计至关重要的三种类型的活动：（1）听取合作者的输入；（2）根据他们的输入修改3D内容；（3）响应并证明所做的更改（请参见图2）。 2）。 真正的异步协作由此类活动的多个交错和不断发展的链组成。 作为最初的探索，出于成本和可行性的考虑，我们仅考察了这三种活动类型的单个链。 这样，我们可以模拟MAVRC的基本要素，这些要素构成了长期的协作性转弯，而不会显着降低可推广性。

3.2.1室内设计任务情境

      为了将参与者的思维方式融入异步协作的具体环境中，我们要求他们充当室内设计师，在一家国际机构的海外工作，以计划本地公司新近装修的办公室布局，模拟现实的远程工作场景。 作为室内设计师，参与者通过交换有关办公室布局要求的多模式记录与客户（本地公司的员工）进行协作。 精心选择了室内设计的任务环境，以检查多模式录音可能会产生最大影响的空间。 由于其3D，空间性质，内部[10]或建筑设计[28]通常被认为是VR的关键应用。 在先前的研究中，室内设计的工作也已扩展到评估协作VR系统[43，61]。

3.2.2任务材料

客户需求的多模式记录由实验系统的试点用户预先生成，他们根据研究团队创建的脚本记录自己作为客户的行为。 在这些录音中，每个客户都向室内设计师详细说明了他们对办公室布局的建议，尽管他们在工作环境中进行了物理和时间上的分配，但他们似乎面对面地进行了协作。

三个客户各自具有五项不同的要求，这些要求的重要性各不相同。 需求被故意设计成两难的，因此布局任务将是不平凡的，并生成更丰富的响应记录。 客户要求的示例包括：

“我使用机密信息-旁观者不应该轻易看到我的屏幕。”

“我偶尔需要使用复印机。” （来自多个客户的两难请求）

 

3.2.3程序和数据收集

首先，通过简短的教程向参与者简要介绍，使他们熟悉VR以及我们系统的生产和消费功能。

对于任务（图2），参与者按顺序执行以下步骤：（步骤1）查看客户的多式联运录音以了解他们的建议，（步骤2）通过移动家具模型来编辑布局，最后（步骤3） ）创建回传给客户的“响应”记录，以描述他们如何平衡最终布局中每个客户的不同需求。 如有需要，参与者可以选择在第2步中编辑布局时重新观看在第1步中查看的记录。 他们没有时间限制，并继续执行任务，直到对最终办公室布局和响应记录感到满意为止。 我们没有分配严格的任务完成措施，因为由于我们任务的困境和开放性，完成标准可能因人而异。

每一步骤之后，参与者都短暂离开了VR。 为了检查可能的不良晕车影响，我们在任务前后收集了模拟器疾病问卷（SSQ）数据[46]。 我们将每个问卷分别称为暴露前SSQ和暴露后SSQ。

整个任务结束时，我们进行了30分钟的半结构化访谈，向参与者询问了他们在使用该系统时的需求和遇到的挑战。 在采访参与者时，我们还与他们一起回顾了他们的观点（POV）视频数据，以指导我们的问题并给出他们的答案。 采访被录音并转录以供以后分析。 在执行任务期间，参与者的头部方向，空间位置，控制器输入和时间线导航模式均由我们的系统记录下来。 POV视频数据是使用OpenVR输入插件[45]捕获的，用于补充视频分析。

3.3  分析

系统的主题分析[51]方法用于识别访谈和观察数据中的相关模式和主题。 在我们的分析中，我们投入了有意识的努力来保持理论上对一系列问题模式的敏感性，这是由先前的工作和我们的研究问题引起的。 编码器间可靠性测试得出的科恩kappa得分为0.87，表明两个独立编码器之间的一致性很高。 该分数是使用整个数据集的64％（总共1123个句子中的719个）计算出来的，而其他36％被留给了编码人员培训。 通常基于数据集样本评估编码器间可靠性[12]。

3.4  参加者

该研究是针对15位（7位女性，8位男性，平均年龄= 22岁，SD = 1.55）西方社会中的大学生或刚毕业的学生进行的。 他们具有各种学术背景：林业，心理学，媒体研究，统计学，生物学和计算机科学。 值得注意的是P5和P6，分别是在建筑和建筑方面具有学校和工作经验的学生。 有6位参与者从未使用过VR或AR，有5位参与者仅使用了VR，有4位参与者同时使用了VR和AR。 每个参与者的时间（1.5小时）获得15美元的补偿。

 

4 结论

除一名参与者外，所有参与者均成功完成了所有任务步骤； P7仅完成了查看和编辑步骤，因为它们在重新观看录像时没有遵循说明。因此，P7被排除在任何描述性统计数据之外，但未从定性数据分析中排除，因为他们的评论证实了其他参与者并帮助我们表征了MAVRC的性质。平均而言，该研究花费了67.5分钟（SD = 5.81），其中不包括休息时间或简报时间。平均总任务时间为35.1分钟（标准差= 7.55），任务后访谈的平均时间为32.4分钟（标准差= 6.97）。

参加者在担任室内设计师时说，他们看到了多模式录制对于协作性空间任务的好处。 8位参与者报告说，他们感受到了异步合作者的情绪和社交存在，表现出对他们的同情迹象。 “这几乎就像真实的人在那里，因此与客户建立联系（P6）要容易得多。”他们的观点得到了多模式用于复杂协作任务的已知好处的支持，例如表现力[13]和易于引用的[29]。观看语音和身体手势的共同表达可以帮助他们“衡量某人对某事的关心程度（P4）”。激光指示器是一种强大的专用设备，可将语音与目标空间对象相关联。参与者在制作“响应”录音时，使用了专门的关键字，例如“这里”，“这个”，“那里”和“那个”，平均为3.13次（SD = 3.20）。 57.4％的此类讲话伴随着共同表达的手势。 SSQ指标表明使用我们的系统前后，VR疾病之间无显着差异（t（14）= -1.602，p = 0.13，配对t检验）。

我们的主题分析揭示了MAVRC系统的四个新颖的设计注意事项（请参见表1）：( 1）协调时间分布的协作者之间的近距离行为；（2）跟踪3D场景的不同版本之间的变化；（3）通过视点控制保持工作区意识3D，以及（4）导航和编辑3D多模式录制。

表1.我们的主题分析摘要，其中包括组织成4个独特主题的8个子主题。参加人数（最右列）不超过15。

 

4.1 在VR中异步、体现相互作用的空间关系学

我们分析的一个主要主题表明了MAVRC中近距离社交协议的性质。 由于MAVRC交互的内在本质，用户表现出与面对面场景相似的近邻行为。 但是，异步可能导致违反近距离规范，引起用户的负面情绪反应。 类似于现实世界中的近代心理学[37]，导致近邻行为的动机既具有社会认知能力（例如人际交往态度），也具有功能性（例如人眼可见性，沟通便利性）。 在以下小节中，我们重点介绍MAVRC独有的发现。

4.1.1 异步头像侵犯了个人空间，使观看者感到迷惑。

15名参与者中有11名报告说，当录音中的化身太接近他们，甚至“塞进”他们的身体时，他们会感到“迷失方向”，“烦死”和“震撼”。 P1解释说：“它使我迷失了方向，因为突然间它就出现在我的脸上，这把我搞砸了。” 在霍尔的近距离理论中，人际距离的管理既具有功能性含义又具有社会性含义[37]。 我们参与者的报告表明了两者。 功能方面微不足道-当化身的头部过近时，就会遮挡他们的视线。

一个新发现是，许多参与者从化身中意识到这种行为是对他们空间的入侵。 5名参与者说，他们感到“违法”和“入侵”。 这表明，根据化身的记录行为，可以预期近距离互动的社会规范（在这种情况下，是对人的亲密空间或个人空间的尊重）。 由于录制的化身无法调整他们的人际距离并绕过参与者的位置，因此无法达到此期望。 几名参与者，例如P2，似乎已经意识到了这个问题的根源，他们说：“ ...您不能告诉他们动弹，只需要在他们周围导航即可。” 但是，他们仍然认为虚拟化身侵犯了他们的个人空间是侵入性的。

4.1.2 观众选择与化身保持“社交距离”。

上面的头像观看者效果的相对形式是观看者将自己的距离调整到头像位置的方式。 为了解开此包，我们创建了一个直方图（图3），显示了研究参与者进行的每一次传送动作的观察者到化身距离的分布，这种方法类似于先前关于同步CVE的工作[27]。 由于参与者很少参加我们的研究，因此我们只计算了隐形传态，这是一种在现代现成的VR平台中广泛使用的瞄准运动风格的运动模式。 所有距离均为欧几里得，以米为单位。 在我们的VR环境中，距离单位与现实世界中的米大约有1对1的映射。 我们将重复的远距传送与用户以前的位置相差不大（> 1米）视为唯一捕获有意传送的动作。

 

图3.直方图，显示了观看录像时每次故意的传送动作的观众到化身的距离（以米为单位）。条形的颜色根据霍尔对人际距离的分类。 [37]。

 

直方图显示了与面对面空间[37]或同步CVE [27]中的近距离空间分类相似的结构。参与者选择了最频繁的传送（在144个总传送中，有83个传送）到化身的“社交空间”（距离范围为1.2至3.6米），这被称为有利于熟人之间的交流。他们很少将距离传送到.45米（“亲密空间”）附近，这种距离只保留给与他们有亲密，亲密关系的人使用。这对我们关于化身对观众近距离突破效果的发现进行了三角剖分，表明参与者尊重化身化身的私密空间，并且同样希望如此。有些传送是到个人或公共空间的，但不如社交空间常见。

参与者的报告支持了这一发现。 5位参与者说，他们“跟随”了化身，并保持适当的距离。他们的主要动机是“更好地了解（P15）共享工作区”，以更好地了解“他们在做什么（P8）”或他们正在从事的工作：“他们试图指出那些在办公室空间中有点遥远，所以这就是为什么我必须搬离更近的地方（P9）。”许多人将他们的近距离行为与类似的现实生活场景相关联。 P6说：“如果我有什么话要对他们说的话，他们的发言距离就在这个范围之内。我觉得如果他们站在很远的地方我必须大喊大叫。 [...]有点像是有人要带您参观他们的房屋，您不会站在他们对面，而是朝另一个方向看，您可能会站在他们附近，在他们旁边。”

 

4.2在不同的VR场景中进行版本跟踪和更改意识

在异步协作中，不可避免的是管理不同工作空间版本的挑战，在协作中，协作者以时间分布的方式向共享工作空间贡献更改。我们发现，MAVRC独特的有益特性，例如沉浸感和捕获记录中的场景操作，可以带来现有版本控制系统无法应对的新挑战。

4.2.1 在不同的VR场景之间转换时会感到迷失方向。

11位参与者报告说，他们在理解VR中不同录音之间的过渡时遇到了困难。在同一共享3D工作空间的不同版本上进行多模式录制时，许多录制具有相似的VR环境，但也包含更改（例如，添加，删除或重新放置对象）。这些变化引起了混乱：“我试图四处移动东西，然后切换回录音以查看他们想要的东西，布局突然发生变化，并使我迷失方向-花了我几秒钟的时间来弄清楚东西在哪里（P1）”，“是相同的空间，但事物在（P2）周围移动。”从某种意义上说，场景之间切换的过渡类似于隐形传态，这往往会引发迷失方向[53]。但是，当向新场景的过渡不明显时，迷失方向的效果可能会被放大，从而使观看者可能认为自己正在看的场景略有不同，但无法弄清楚已更改的内容。

4.2.2 意识到锚定在不同时间线上的多个MAVRC记录之间的变化。

4名参与者报告了难以维持对3D场景的异步更改意识[76]。他们明确指出需要跟踪和理解场景中所做的更改（例如，移动了什么对象，从/向何处移动了对象以及何时进行了更改）。例如，P1和P6想要比较两个不同的场景：“进行并排比较以了解当前情况如何变化将很有帮助（P1）”和“也许我可以将其与原始布局进行比较，因为我已经忘记了原来的样子，所以我不确定她在哪里进行了更改，因为我只关注她在说什么，而无法事先记住它的样子（P6）。”

在多个分支时间表中跟踪变化的起点和终点被认为是困难的。 P7甚至试图通过在观看录音时闭上眼睛来折衷潜在的冲突视觉信息，以集中注意力于化身的言语描述，说：“我想象的是视觉效果，而不是我看到的默认布局。”此问题适用于许多MAVRC系统，这些系统在交换的消息中包含3D场景操作（例如，化身在场景中移动对象），因为场景在记录中随时间变化。如图4所示，记录中的场景操作会加剧理解异步更改的挑战。 3D场景的版本不仅可以在用户将播放头移动到录制时间轴内的各个点时更改，还可以在用户切换到完全不同的录制时更改。例如，在我们的实验系统中（参见图4），从M4到RM1 0的过渡将使抽屉和显示器消失，而从RM1 2到RM2 0的过渡将卸下灯并将抽屉添加到现场。

尽管我们对跟踪变更挑战的描述位于实验系统的特定实现中，但这些问题可以轻松地推广到任何采用类似版本控制或场景操纵功能的MAVRC系统。

4.3 建立工作空间意识方面的挑战和解决方法

工作空间意识是指对其他合作者活动的理解[36]。在典型的异步协作系统（例如，用于文档编辑或软件版本控制的协作系统）中，几乎不需要实时工作空间感知，因为协作者目前没有活动[76]。 MAVRC的独特之处在于仍然需要建立和维护实时工作空间感知组件。由于MAVRC记录捕获了富有表现力的VR环境中协作者的互动，如下图

图4.在我们的MAVRC系统版本中，多模式记录被锚定到主场景的版本（例如，RM1是被锚定到M1的记录）。记录可以包含场景操作，作为捕获的交互流的一部分。记录中的每个场景操作都会生成3D场景的版本（例如，RM1中的RM10，RM11和RM12）。当用户在不同记录的多个时间点之间导航时（例如，图中的红色箭头），要保持对异步更改的意识可能会很困难。

这些录音可以模拟实时面对面协作的各个方面，就像一个人正在与某人聊天或观看其他人正在进行的活动一样。我们在下面记录了有关此类伪实时工作空间感知的独特用户需求。

4.3.1 在沉浸式3D记录中保持对化身的意图，动作和位置的意识方面，消费者方面面临的挑战。

与2D视频不同，基于VR的多模式录制中的相关内容并不总是在用户看来。 10位参与者报告了在建立工作区意识化身活动方面的挑战和解决方法。我们发现了几个关键的设计因素。

首先，当查看虚拟形象的记录活动时，参与者报告说他们想查看和了解该虚拟形象正在做什么。例如：“他们在哪里（P13）”，“他们去哪里（P3）”，“他们在做什么（P8）”，“他们指向的东西（P11）”以及他们可以看到的内容。一些参与者想确切地看到化身所看到的内容：“我有点想被锁住，只是从他们的视线中看到它，您不必移动或四处走动，也不必跟随他，[您可以]成为他（P3）。”这些要求类似于先前关于实时工作空间感知研究的要求[36]。

其次，参与者报告说很难找到化身在场景中的位置。当第一次加载录音时（“我一开始找不到那个人（P9）。”），在化身传送之后（“当员工[客户]使用传送功能时，您将无法知道他们的去向（P3）”）。有时，化身可能会出现在视线中，从视线中消失或什至完全在参与者的后面：“ ...它们会在我身后的某个地方或后面，所以我会侧视而不知道它们在哪里（P2 ）。”结果，他们需要花费时间和精力来定位化身，从而导致他们错过了查看关键内容的机会。一些参与者不得不倒带以重新观看错过的片段，或者甚至可能完全重新开始录制。

第三，参与者付出了巨大的努力来保持良好的视点-在3D场景中的位置和视图方向-他们可以从中最好地看到化身在做什么和看（P3和P5）以及什么他们指向（P3和P11）。参与者报告了建立最佳3D视点的两种障碍：遮挡和表观比例。参与者通常会因遮挡而移动，如P13所示：“在开发人员部分进行更改时，我不得不走近一点，因为它被墙壁挡住了，所以我什至不知道那里有一张小沙发直到我真正去那里。”为了提高可见度，参与者采取了类似监视的策略：他们首先从远处观察场景以获取空间背景（P3和P11），然后在需要时移至虚拟形象以观察细节（P3，P4和P5）。 P4的报价最能说明这种模式：“我想我首先会使用广角透视，但是如果他们专注于某件事，如果他们谈论水冷却器，则要持续几秒钟，然后继续前进，那么我可能会更靠近他们，然后考虑一下。”

4.3.2 在适应和引导观众的意识方面，制片方面临的挑战。

在查看任务的制作步骤时（例如，当参与者创建“响应”录音时），我们发现有6名参与者在创建多模式录音时试图将想象中的听众的注意力吸引到他们正在进行的活动中，但是缺少交互式接地设备，例如通过确认和相关的对话轮换反馈，以确认已建立的共同点[17]。

制作人觉得他们正在逐步介绍一个虚构的听众，并期望听众会跟随他们。他们预测了潜在观众的预期运动，并试图适应观众对其活动的意识。 P9说：“如果要将植物移到房间的某个角落，则需要将其移到那里。因此，有时我需要经过办公室的尽头来完成某些任务并向人们解释。我认为最好是让他们知道并关注我。”为了吸引观看者了解他们的行为和意图，一些参与者采用了多种手势来引起注意。一些示例包括靠近感兴趣的空间区域传送，将头部方向对准特定位置，以及将激光笔投射到对象上以进行定向参考。已知这些是提供意识信息的有效机制。

异步协作的单向通信性质带来了重大挑战。在MAVRC中，无法知道观看者将在哪里，观看者是否在看他们所看到的内容以及他们是否了解制作人的信息。与会者提出了一种直接与观看者分享他们观点的潜在解决方案：“我想更多地考虑自己的位置，因为我想向他们展示自己的观点。不过，这并不重要，因为（对于查看者而言）将是另一种观点。但是我只是停留在这种心态上，即我正在看的是观众在看的东西，但事实并非如此（P14）。”

4.4 在导航和创建MAVRC的多模式录像中的挑战

与会者报告了在消费和制作多模式录音方面面临的不同类型的挑战。一些挑战与消费和产生非VR多媒体内容（例如，视频或语音注释）的挑战具有相似之处。例如，与文本媒体相比，导航/浏览多模式录制的速度较慢，而查看/编辑则比较繁琐。平均而言，与创建“请求”记录（M = 7.98分钟，SD = 1.15）相比，参与者创建“响应”记录的时间更少（M = 2.62分钟，SD = 1.32）。这一结果符合格鲁丁关于语音消息的消耗和产生之间工作负载不平衡的评论[34]。在以下小节中，我们重点介绍了MAVRC设置所独有的发现（例如，创建实时录制时缺乏时空导航提示和性能焦虑）。

4.4.1 沉浸式录音需要适当的时空导航提示。

11位参与者提到，他们必须重新观看录音才能牢牢把握客户的需求。他们希望对录制的内容（例如客户讲话的字幕）采用可浏览的形式，因为重新观看同一录音非常乏味，而且很难记住和找到时间表中的关键点。 P6的评论恰当地总结了这一点：“ ...我不得不记住很多事情，并且我不想再次重播这些录音，因为它吸引了很多人，我希望我能记笔记...”

如第4.3.1节所述，导航多模式记录的一个独特挑战是视点管理。在记录中，化身可以在3D环境的不同空间位置周围移动。因此，当观看者在不同时间点之间导航时，不能保证在观看者的视点中可以看到化身的活动。 P15详细阐述了这个问题：“我认为唯一不同的部分是，如果滚动到不同的点，并且不确定所要查找的内容，那看起来就像是完全一样，因为您在办公室里，所以他们可能处于不同的位置并谈论其他事情，但是，当您在寻找视频中的[要点]时，您可能不记得他们在那个位置。”如4.3.1所述，在观看录制内容时，用户往往会在场景中进行多次传送以跟随客户的活动，这使他们变得更加困难，因为他们必须记住并关联事件发生的时间和地点：例如，我需要记住空间-随着时间的推移，我在空间上所处的位置，当我将所有事物传送到所有这些空间时，这有点令人困惑，而我忘记了[录音中的东西]和东西（P14）。

4.4.2 创建异步录音时，性能焦虑和编辑功能的需求。

制作多峰录音可能会很麻烦。至少有7位参与者感到创建异步记录内容的性能压力，因为重新记录同一条消息可能很耗时。 P10说：“如果我搞砸了，我必须回去，删除它，重新录制，这样我就知道搞砸了。”因此，超过一半（14位参与者中有8位，不包括P7）一次记录了他们的“响应”。 2次记录两次，3次记录3次，1次记录5次（平均值= 1.86，SD = 1.23）。在记录了一次以上的参与者中，有4个犯了错误，他们认为错误足以引起重新开始，例如迷失了思路或拿起错误的物体。

由于参与者知道录制的内容可能会花费很多时间来聆听和理解，因此他们尝试保持制作的录制内容简洁明了。 P6说：“ ...当我录音时，我更了解时间，因为没有人真的想看那么长时间的录音，因为我也不想。所以我想非常简洁。” P9谈到了透明度的重要性：“我真的不想让人们感到困惑。所以我变得有点紧张。”

与向实时观众（即公开演讲）进行面对面的演示相比，制片人并不感到焦虑，因为他们知道自己独自在MAVRC中，也没有感受到现场观众的压力。 P8说：“ ...还不像我直接向人们展示东西那样糟糕，我知道如果我搞砸了就可以重新开始，这样就不那么令人恐惧了。”此外，我们的简单化身表示法使参与者能够将其身份与具体化身分离，从而弥补了他们的社交焦虑（与表现焦虑不同）。例如，P15说：“我这样做时根本不自觉，因为我知道人们看不到我的脸。所以那时，我并没有感到焦虑或其他任何事情。”

9位参与者要求适当的编辑功能，以便在不增加恢复成本的情况下纠正错误。他们要求标准功能，例如将记录片段剪辑或缝合在一起：“我希望能够编辑记录，就像在Windows Movie Maker中进行记录时一样，您只想剪切某些部分并制作它是连贯的。我不希望它真的是一堆乱七八糟的东西，我本可以用五句话而不是二十句话来表达（P13）。缺乏有效的编辑工具也可能会给录音时的演奏者带来压力。但是，操纵多模式互动可能会很困难，尤其是在VR中，录像会捕获诸如头部运动和手势参考之类的表达性数据（例如，“将动作添加到您所做的事情中只会使事情变得更加复杂（P14）”）。

4.5 结果总结

共有三个核心概念，每个核心概念都跨越了前面介绍的多个主题。首先，第4.1.2节和第4.4.1节中显而易见的3D观看者视点调整对于理解录像中的视觉事件至关重要。其次，如第4.4节所述，多模式既是交流表现力的福音，也是导航和编辑挑战的祸根。最后，缺乏实时反馈阻碍了MAVRC用户利用交互式通信设备，这将使他们能够从诸如违反近距离协议和常见地面故障的挑战中恢复过来。

 

5 讨论

在进一步思考我们的方法和结果之后，我们讨论并提出了一组新颖的设计含义和建议。为了证明这些见解在为发现的挑战生成解决方案中的可行性，我们还说明了四个概念验证界面并进行了非正式评估。

5.1 设计含义

5.1.1 具体的异步社会存在：对社会规范和焦虑的影响

在我们的研究中，我们的参与者倾向于将化身虚拟化，该化身被异步记录，就好像它是一个骨肉般的社交代理。尽管众所周知，协作者可能会在同步环境中表现出近距离行为[4]，但在我们的研究中，我们发现，异步VR互动中也会出现社会规范方面的新发现。这一发现凸显了丰富的设计空间，这是设计师在设计MAVRC系统时必须考虑的社会动力的空间。

一个潜在的探索方向是可以将社会规范以外的实例（除了proxemics实例）转移到MAVRC。由于我们的头像设计简单而不是现实且复杂，因此人与人之间的距离是观察到的最明显的行为模式之一。然而，研究人员发现，随着媒体的表现力和互动性变得更加丰富（例如，音频在文本上和音频在视频上），使用异步通信工具的人们会感受到协作者在社交场合的强大影响[11]。因此，有必要研究提高虚拟形象的逼真度是否可以帮助将更细微的社交互动（例如信任，欺骗，自我意识或虚荣心）转移给MAVRC。任务设计也是影响MAVRC中社交行为的重要方面。

在我们的研究中，任务背景是中等社交程度的，这意味着应邀请协作者站在附近，以便他们可以看到并了解对方在做什么。另外，我们的任务仅涉及一个异步协作者，而没有同步协作者。在将多个同步和异步协作者混合在一起的混合协作环境中，用户将展示人际空间的不同用途。代理理论和F形成理论将是研究此类主题的可行灵感来源[16，37]。

但是，研究人员可能需要对MAVRC交互中暗示的社会细微差别的过度解释保持警惕。我们想加强我们的发现，即人们将功能需求（例如，可见性，工作空间意识）描述为主要驱动力或其近距离行为。因此，我们的设计解决方案思想集中于纠正适当的近距离行为的明显故障：记录的化身侵犯了个人空间。设计上的挑战是异步化身无法自行调整其运动以避免与观看者发生冲突。一种可能的解决方案涉及主动管理此类违规行为。给定记录的异步性质，化身的位置在所有时间点都是已知的。当用户即将传送到化身也将在不久的将来传送到的位置时，可以防止或警告用户不要这样做。

5.1.2 跨多个3D场景的异步更改意识

4.2的结果表明，MAVRC系统中的用户可能难以跟踪3D /空间场景的不同版本之间和内部进行的复杂更改，而随着协作者随时间推移做出的更改，这种变化也在不断发展。这是异步版本跟踪中挑战的一个实例，以前在CSCW中被记录为异步更改意识[76]，在软件工程领域中被记录为可跟踪性管理和恢复[19]。

现有的版本控制系统提供了关于成熟的MAVRC系统应支持哪种版本管理功能的一些见解，例如差异，合并，分支，历史记录跟踪和请求/讨论。存在一些专注于3D模型版本控制的研究[22、23、69]，但它们缺乏这种版本控制功能。这些仍然是Graphics，VR，HCI和CSCW中的未解决问题。

当观看者在两个不同的3D场景之间的过渡处看到突然的变化时，MAVRC中新发现的挑战是震撼的感觉。动画过渡是一种流行的技术，可以纠正在导航共享人工制品的多个版本时出现的此类混淆，如文档[15]和图形[3]的版本控制系统所证明的那样。 MAVRC系统可以通过对移动，创建和移除的对象或进行此类更改的人进行动画处理，来帮助用户跟踪3D场景版本中的更改。在VR中，只有当更改在用户的视野中可见时，才为场景差异设置动画非常重要，因为用户可能无法注意到视觉指示符。

5.1.3 支持建立工作区意识

当既充当消费者又充当生产者时，MAVRC用户缺少对意识显示机制的支持。需要使用的一种特殊的消费功能是一种显示“化身现在可以看到的东西”的方法，而又不会过度改变观看者的视线以获得最佳可见度。尤其是，隐藏在“墙后”的化身是观众必须跟随它们以保持视野的主要原因之一。因此，解决方案应采用遮挡技术，例如X射线[2，21]或多透视[81]。跟踪虚拟角色的位置非常乏味，以至于有些参与者甚至想将虚拟角色的位置和方向作为他们的视点（POV）。在VR中放弃观点容易导致晕车。然而，存在一些有助于减轻疾病影响的方法[20]，包括着眼于第一人称视角和第二人称视角之间过渡的方法[48]。

在记录他们作为制作人的活动时，用户希望适应其潜在观众的意识。但是，当他们从消费者的角度看时，如果他们的多模式表现能够成功地建立起他们的交流意图的牢固共识，就无法保证他们。作为一种潜在的解决方案，可以将扎根过程委托给智能MAVRC系统，该系统能够分析多模式记录中消息的清晰度（例如，旁白的质量，制作人的言语内容与其身体姿势之间的语义对齐） ，这样系统甚至可以在消费者查看消息之前就向生产者提供有关其消息的反馈。

这个异步工作空间感知问题的性质类似于实时协作[36]。在异步交互中使此问题更具挑战性的是缺少向协作者发信号的交互或交流机制，以使他们实时响应查看者对工作空间感知的需求。参与者错过重要信息时，必须停下来，自己定位化身，并倒带录音。

5.1.4 浏览和创作时空记录

参与者希望编辑记录的内容，以使内容简洁明了。在VR中创建多模式录像在创作不同类型的时空录像（例如VR / 360视频）方面面临许多挑战[56]。确定适当的时间点从而在录音中进行剪切或过渡仍然是一个开放的研究问题。先前有关编辑线性多媒体流的工作表明，自动识别语义编辑句柄（例如自动字幕或关键帧[8、72]）可能是一种潜在的解决方案。但是，以前工作的界面主要是为桌面输入而设计的。后续研究可以从为基于VR的多媒体编辑设计空间UI的角度解决此问题。

在消费方面，先前在浏览和浏览多媒体内容方面的工作为解决MAVRC中的类似问题提供了见解。现有的解决方案提取并呈现了语义导航提示，观众可以通过时间索引在线性多媒体内容中跳转或浏览[33]。这些提示包括来自语音识别，关键帧或发生了有意义事件的人工制品的字幕。这些解决方案可以轻松地从2D媒体传输到3D VR。

MAVRC中时空导航的一个独特挑战是帮助观看者将他们的视线对准发生重要事件的位置。例如，在记录中导航不仅应将时间点移动，还应将用户的视点移动到最佳位置，以查看化身的活动和周围的环境。在录制开始时，用户的视图也可以自动指向虚拟形象的位置，从而减轻了定位虚拟形象的初始负担。此外，当化身不在视线范围内时，可以暂停录制。

5.2 设计建议

为了帮助指导有效的MAVRC系统的设计，我们提供了直接根据我们的研究结果和设计含义得出的以下设计建议（DR <number>）。

•（DR1）防止接近冲突：当预期会发生私密空间冲突时，提醒用户。

•（DR2）过渡时的动画更改：提供有关3D场景将如何更改的可追溯可视指示器。

•（DR3）高亮显示其他人看到的内容：以更高的视觉显着性显示与协作者的活动相关的对象。

•（DR4）调整查看者在时间索引上的视点：定位和定向查看者的视点，以便他们可以跟随协作者的活动而不会过度移动。

•（DR5）提供丰富的导航提示：使用视觉或语义定界符来组织时间线。

•（DR6）提供有效的编辑功能：为用户提供剪辑，剪切和粘贴或重新记录多模式记录的一部分以进行修订和编辑的方式。

5.3 概念验证界面

为了具体化我们的设计建议，我们开发并评估了四种概念验证（PoC）技术（请参见图5）。他们的主要贡献在于帮助证明了我们设计的可行性，并探索了这种设计空间的可能性，而不是提出唯一或最佳的设计解决方案。

•近距离敏感的隐形传送（来自DR1）：如果用户移动到化身将很快经过的位置，则化身很可能会侵入用户的个人或私密空间。我们采用先发制人的方法来帮助用户避免这种冲突。由于在我们的研究中，运动的主要模式是传送，因此我们修改了传送技术，使其可以在传送之前检测并突出显示潜在的碰撞。在瞬移瞄准阶段，我们的技术通过测试化身的录制动作是否会与用户瞄准的瞬移目标重叠，来检测不久的将来可能发生的碰撞。如果检测到潜在的碰撞，我们的技术将使用化身的动画片段向用户发出警告（图5（a）），并将传送弧的目标端点重定向到远离化身的距离，该距离应与化身的上限相匹配。霍尔对个人空间的分类（1.2 m）。这样，用户就可以保持在头像的个人空间之外，并保持近距离协议。

图5.我们的概念验证界面中的三个（四个）的屏幕截图：（a）对近距离敏感的隐形传态； （b）3D场景之间的动画过渡；（c）协作者感知的X射线视觉。（未描绘：时空导航的增强时间线）

 

•动画场景过渡（来自DR2）：当用户使用时间线跳到其他时间或打开新录像时，VR环境可能会突然改变。为了纠正迷失方向，我们在系统中添加了一种转换机制来渲染VR中的视觉变化。受助记符渲染[9]的启发，我们的系统通过动画和alpha混合显示了即将发生的变化。动画显示了从先前位置移动到当前位置的对象的重影（请参见图5（b））。 VR的独特之处在于，更改可以在整个用户中发生。因此，我们会将更改缓冲在用户当前视点之外，并在显示更新的对象时为这些更改设置动画。

•可感知协作者的X射线视觉（来自DR3）：在观看记录时，如果3D场景（例如，在墙壁或桌子后面）将用户隐藏在协作者化身的活动中，则用户可能会错过它们。为了增强工作区对化身活动的认识，我们开发了一种X射线视觉技术，该技术可以选择性地排除重要的视觉实体，包括化身的身体部位和与化身互动的对象（请参见图5（c））。为了实现此效果，场景中的每个对象都分配有一个控制可见性的着色器。通常是从用户的角度渲染场景。当被遮挡的对象进入化身的视锥中时，着色器会根据深度缓冲区修改这些对象的可见性，以创建X射线视觉效果。

•增强的时空导航时间轴（来自DR4和DR5）：我们的时间轴滑块将可记录的关键时刻显示为可点击的书签，可帮助观看者快速识别和导航记录中的关键时刻。每个书签记录两个数据点：时刻和3D场景中用于查看该时刻的相机姿态（位置+方向）。为了测试该技术，我们重新使用了主要用户研究中的录音和参与者的行为来估计书签。具体来说，我们根据参与者记录的隐形传送位置以及与场景中对象的交互来手动选择关键时刻和最佳相机姿态。由于记录的异步性质，更高级的技术可以通过基于口语内容或记录的行为（例如，与对象进行交互）识别VR记录中的关键时刻或计划最佳视点来自动组织数据以便于使用，从而更易于使用[6] 。

为了测试我们设计意图的可行性并评估用户对建议界面的反应，我们进行了非正式评估，将四个PoC界面与第3.1节中所述的原始实验系统进行了比较。作者抽取了八名参与者，其中没有一个人经历了我们的主要研究。在类似于3.3.2节的入职培训之后，参与者执行了4种类型的任务，一项任务使用每个新界面，另一项任务使用原始界面（总共4×2个任务）。这四项任务中的每一项都反映了相关设计含义中描述的具有挑战性的情况：（近距离）传送到化身可能侵犯观看者私人空间的位置，（场景差异）看到场景突然变化并描述了场景变化。更改，（意识）查看和描述隐藏在墙后的化身活动，以及（导航）对复杂的记录进行时间导航。我们收集了主观评分（例如，针对Proxemics任务的近距离违规和Scene-diff任务的场景过渡时的用户沮丧感的问卷调查，以及针对意识和导航任务的加权NASA TLX评分）以及每8项之后的定性响应会议。两种系统的顺序和任务材料是平衡的。

总体而言，与原始版本相比，参与者的评分和评论都支持我们的每个PoC界面。 （Proxemics）参与者对他们在Proxemic隐形传送界面上的体验进行了打分(M(SD) PoC = 3.00(1.51), M(SD) Original=4.00(1.31))，并且比原始传送接口更加舒适(M(SD)PoC = 3.50(1.20), M(SD)Original = 2.89(1.13)) （场景差异）动画过渡界面的平均评分要比预期的要高(M(SD)PoC = 4.13(.83), M(SD)Original=3.00(1.51))，然后调整到场景(M(SD)PoC=3.88(0.99), M(SD)Original= 3.50(1.07))过渡。X射线和时间轴接口产生的TLX工作负载等级比原始接口((Awareness)M(SD)PoC=28.8(20.1),M(SD)Original=37.8(28.9);(Navigation)M(SD)PoC=30.7(19.3),M(SD)Original=35.1(18.6))。尽管由于样本量小，没有评级显示出统计学意义，但定性意见与我们的设计意图和预期的用户反应相符，证实了我们设计意义的可行性：“（Proxemics）这将阻止我将其传送到头像突然跳到我体内的地方，”“（场景差异）在动画中识别移动的对象要容易得多，”“（导航）它使我可以传送到...的区域具有最佳观看位置的场景”和“（意识）能够看到化身如何进行交互并告诉我该怎么做。”

 

6 结论与未来工作

在本文中，我们研究了基于多模式记录进行空间任务的异步VR协作。使用我们的实验系统，该系统提供了多种交互方式的捕获和重放，我们进行了定性，探索性研究，参与者在其中消费和制作了唱片以进行室内设计合作。参与者即使在查看异步协作者的重放表示时，也表现出社交行为，例如接近和共情。观点管理和意识对于在空间VR中没有实时反馈的情况下协调各种观点至关重要。尽管沉浸在CVE中可以帮助在空间任务中建立3D上下文，但是当在不同版本的场景之间切换时，可能会使用户迷惑。 

尽管室内设计是一种流行的代表性空间任务，但并非所有结果都可以转移到VR中的其他类型的异步任务。它们可能会因空间规模（例如城市规划），协作者数量（例如虚拟会议）以及所需的多模式交互的复杂性而异。将我们的方法应用于不同的任务环境将有助于我们对结果进行三角剖分和对比，从而进一步启发未来的工作。

我们知道这项研究的某些局限性。首先，我们对图4中所示的版本控制机制的描述特定于我们对实验系统的实现，而不能推广到MAVRC系统的所有可能实现。另一个特定于实现的示例是，作为对表征MAVRC的初步探索，我们的系统仅支持一次查看单个记录。未来的工作可能会调查不同实现方式的实用性，该实现方式可以并行查看多个记录或场景。其次，交互方式的选择仅代表了当前VR基础架构所能负担的价格。例如，鉴于眼动追踪已开始普遍集成到最新的VR头戴式耳机中[41]，因此可以考虑使用一种可以捕获用户注视的实现方式来复制我们的研究，以此来记录合作者的意识和注意力。第三，参与者只交换了多模式录音的单链。涉及来回消息异步链的任务很昂贵，但研究很重要。追踪过去场景变化的悠久历史可能对理解和管理更具挑战性。

将我们的设计影响扩展到增强现实（AR）可能是一个有前途的角度。然而，关于版本控制问题，现实-虚拟冲突[88]比VR中的虚拟-虚拟冲突更难解决。 AR用户的视点严格限于他们的真实身体，因此解决时空导航问题将是一个不小的问题。探索异构协作者（例如，多个同位/远程或同步/异步协作者）如何在相似的沉浸式系统中一起工作也将是具有挑战性的，但却是有益的。

 

7 致谢

我们感谢加拿大自然科学与工程研究理事会（NSERC，RGPIN-2018-04591）的支持。 这项工作得到了Adobe Research的慷慨捐助的部分支持。