使用Unity开发HoloLens应用

导读： 开发者们在陆续收到HoloLens开发者版的同时，也都着手了HoloLens应用的开发工作。本文作者从空间映射、场景匹配、自然交互等核心特性开始，以实践详解了如何使用Unity引擎开发一个简单的HoloLens应用，并对自己的开发经验进行总结和分享。

HoloLens概述

经历数个月的期待与等待，笔者终于拿到了预订的HoloLens开发者版本套件。作为市面上第一款发售的AR/MR设备，HoloLens开发者版本具有很多独特的黑科技。今天，我们就来了解HoloLens的开发特性（参见图1应用场景）。

图1 Hololens应用场景

空间映射

借助微软特殊定制的全息处理单元（HPU），HoloLens实现了对周边环境的快速扫描和空间匹配。这保证了HoloLens能够准确地在真实世界表面放置或展现全息图形内容，确保了核心的AR体验。

场景匹配

HoloLens设备能存储并识别环境信息，恢复和保持不同场景中的全息图像对象。当你离开当前房间再回来时，会发现原有放置的全息图像均会在正确的位置出现。

自然交互

HoloLens主要交互方式为凝视（Gaze）、语音（Voice Command）和手势（Gesture），这构成了HoloLens的基本输入要素。同时传统的键盘鼠标等设备也被支持，自然的交互方式更贴近人类习惯，提高了交互效率。

通用应用

HoloLens平台的操作系统为Windows Holograpic，同样基于Windows 10定制。所以Windows 10 UWP通用应用程序可以顺利地在HoloLens上运行。这不仅降低了研发和迁移成本，也让开发效率大幅提升。

当然，说了很多HoloLens的特性和优点后，开发者版本也存在一些亟待解决的问题，比如视野较窄、凝视体验不佳、抗光线干扰弱和重量续航等。但瑕不掩瑜，HoloLens带来了真正的混合现实体验，拥有着强烈的冲击感，未来将大有作为。

开发一个HoloLens应用

在了解HoloLens设备后，我们来试着开发一个简单的HoloLens应用，当然你也可以开发一个传统的UWP应用。这里我们则采用Unity引擎来构建应用，使用Unity开发是官方推荐的做法。

开始之前

确保正确配置了开发环境，需安装以下工具和SDK：

1. Visual Studio 2015 Update 1及以上版本；
2. Windows 10 SDK 10586及以上版本；
3. HoloLens模拟器，如图2；
4. Unity HoloLens技术预览版。

以上工具和SDK均可在微软官方网址获取，详细教程可以访问：https://developer.microsoft.com/en-us/windows/holographic/install_the_tools。

图2 HoloLens模拟器

集成HoloToolkit-Unity项目

在创建了标准Unity项目之后，我们需要集成微软官方提供的HoloToolkit-Unity项目。HoloToolkit-Unity是微软官方的开源项目，用于帮助开发者快速开发HoloLens应用，能够快速为项目集成基本输入、空间映射和场景匹配等特性。以下是此项目的结构和内容分析，如图3。

• Input目录

  • GazeManager.cs用于快速集成凝视射线特性；
  • GestureManager.cs用于快速集成手势识别特性；
  • KeywordManager.cs用于快速集成语音命令特性；
  • CursorManager.cs用于快速集成可视化凝视组件。

• Sharing目录

  • Sharing Prefab组件用于快速集成场景共享特性。

• SpatialMapping目录

  • SurfacePlane Prefab组件用于描述和渲染真实世界表面；
  • SpatialMapping Prefab组件用于快速集成空间映射特性；
  • RemoteMapping Prefab组件用于快速集成远程空间映射信息导入特性；

• SpatialSound目录

  • UAudioManager.cs用于快速集成空间声音特性。

• Utilities目录

  • Billboard.cs用于实现跟随用户视线特性；
  • Tagalong.cs用于实现跟随用户移动特性；
  • Main Camera Prefab组件用于快速集成HoloLens标准主摄像机。

图3 HoloToolkit-Unity项目结构

构建场景

新建空白场景后，我们需要删除原有的Main Camera对象，同时从HoloToolkit目录中拖拽一个Main Camera Prefab组件到场景中，如图4，这样就集成了满足HoloLens需求的基本主摄像机。对于HoloLens，将主摄像机渲染背景设为纯色，颜色设为RGBA(0,0,0,0)。因为任何纯黑的颜色将会被HoloLens渲染为透明，以达到不遮挡现实世界的目的。此外，HoloLens建议摄像机视角近距离为0.85，这个距离最符合真实人眼的体验。同时主摄像机位置必须重置为世界零点，即xyz(0，0，0)，任何全息图像将会以此为原点在周边世界中绘制出来。

图4 设置主摄像头

然后点击“Create Empty”创建一个空游戏对象，并将其命名为Input，如图5。为Input对象添加核心脚本组件，分别为GazeManager.cs、GestureManager.cs、HandsManager.cs和KeywordManager.cs。这样就集成了以上命令三大核心特性，对于凝视射线、手势识别和语音命令功能，均建议使用单例来进行管理，这样可以避免功能混乱。同时为凝视设置可视化的指针，可以提高用户的交互体验和效率。

图5 集成输入组件

接下来集成可视化凝视组件，从HoloToolkit目录下拖拽CursorWithFeedback Prefab组件到场景中，如图6。这样当凝视在全息对象时，其表面会出现可视化凝视组件。当用户手势被识别到时，会出现一个蓝色的手掌图像，能够贴心地告诉用户可以操作了。

图6 集成凝视组件

创建一个Cube对象和一个新的C#脚本，命名为HoloTest.cs。Cube作为我们的全息图像主体，将它的Transform参数设为如图7所示。这样Cube的位置方便我们近距离观察其实际变化情况，你也可以根据自己偏好来放置它。

图7 设置Cube的Transform参数

HoloTest.cs脚本的功能为随机更换对象的材质颜色，遵循GestureManager.cs中预设的OnSelect消息名称，HoloTest.cs脚本中将会在OnSelect方法中实现此功能代码如下：

public void OnSelect()
    {
        //随机变换物体颜色
        gameObject.GetComponent<MeshRenderer>().material.color = new Color(Random.Range(0, 255) / 255f, Random.Range(0, 255) / 255f, Random.Range(0, 255) / 255f);
    }
1
2
3
4
5

进入Input组件检视选项卡，为KeywordManager.cs组件配置语音命令。图8语音命令触发时将会执行相应的组件行为。本例中，当我说出“test”时，机会即会Cube的OnSelect方法，来随机改变Cube颜色。

图8 设定语音关键词行为

编译项目

为了满足HoloLens的需求，我们需要在Player Settings里面开启Virtual Reality Support，并在下拉列表中选中Windows Holographic，如图9。只有这样HoloLens才会将此应用渲染为3D应用，这一点十分关键。

图9 添加HoloLens支持

同时从工具栏Edit→Project Settings→Quality选项卡中，将UWP平台默认画质设为Fastest，如图10。这是为了降低性能开销，官方推荐帧率为60fps。

图10 设定默认画质

如图11，Build Settings视图中选择目标平台为Windows Store，SDK为Universal 10，点击Build按钮开始编译UWP项目。

图11 编译Unity项目

部署调试应用

使用Visual Studio打开编译后的UWP项目，在Debug选项上设置如图12所示。

图12 设置Debug选项

连接HoloLens到PC，完成Build和Deploy后，我们在HoloLens中打开此应用。实际效果如图13所示。当我使用手势点击Cube时，它会随机变化颜色；而当我说出语音命令“test”时，Cube仍会正常的变换颜色，这完全符合我们的预期。

图13 实际效果图

HoloLens开发总结

使用Unity引擎开发HoloLens应用是非常容易的事情，大部分流程与开发UWP项目并无不同。但仍有不少需要注意的雷区和特殊要求，以下就是部分要注意的部分：

1. Main Camera一定要按照官方要求配置，背景纯色且RGBA值为（0，0，0，0），这样才能避免遮挡现实内容；
2. Gaze凝视特性需要我们使用Raycast来实现，注意处理射线未命中目标情形，默认凝视最远距离为15米，若是未击中物体，使用时可能会出现空引用异常；
3. 手势识别、拍照和语音命令等均需使用Windows特有API，空间映射和场景匹配需要使用HoloLens特有API；
4. 其他很多细节上的体验，例如可视化凝视组件、目标区域可视化指引组件等，使用它们来给用户提示，可以帮助用户理解应用操作方法，提高使用体验。

最后，AR/MR技术独特的交互体验与开发特性，代表了未来自然交互的发展方向，相较于目前成熟的VR技术，它们具有更光明的发展前景和更广阔的用途。无论是微软还是Magic Leap，它们无疑会是未来市场的引领者，而目前也是我们学习的黄金阶段，能够迎头赶上这波浪潮，对于相关从业者具有重要的意义。

作者简介：

张昌伟（@msp的昌伟哥哥），全栈工程师，微软最有价值专家。专注于iOS和.NET平台开发技术，首批AR开发者，目前全职从事HoloLens开发。

责任编辑：唐小引（@唐门教主），欢迎技术投稿、约稿、给文章纠错，请发送邮件至tangxy@csdn.net。

本文为《程序员》6月刊原创文章，未经允许不得转载，更多精彩文章请订阅2016年《程序员》。

第一时间掌握最新移动开发相关信息和技术，请关注mobilehub公众微信号（ID: mobilehub)。