Unity：利用MRTK进行Hololens2开发教程_unity hololen2 ui交互

1、MRTK简介

 官方介绍文档、下载地址

就是用来实现AR/VR虚拟环境下的显示和交互

官方功能文档

官方API文档

2、MRTK的导入

创建首个HoloLens 2应用程序

 “Virtual Reality Supported” 功能适用于混合现实和增强现实头显, 因为它指的是启用立体视觉效果

 “Spatial Perception” 空间感知功能，使我们能够在混合现实设备上 (如 HoloLens 2) 直观显示空间映射网格。 

环境配置好后，导入MRTK混合现实工具包

 应用

参数设置

关闭空间感知功能，减少资源消耗和视觉影响

确定环境配置成功

后续的发布看链接教程，也可以Remote调试

 3、创建交互界面

HoloLens2基础交互功能开发(二)：交互界面创建

正常创建画布UI-Canvas，并转换为AR UI

创建AR Button，并挂在Canvas下，这样按钮就固定在空间画布上，而不是直接显示在屏幕上。

这些按钮预制件已经配置为对各种类型的输入（包括铰接的手动输入和注视）提供视听反馈。

触发方法有：凝视、空间点击、手射线、实体按钮

 

 

更改显示文字和图标

中文字体无法显示的话，添加字体包即可 ，

自带交互脚本Interactable.cs，Events事件正常选择直接写的脚本命令即可

如：最简单的变换颜色

那我想调用出高端大气的手势交互怎么办，看下面

4、手势交互

官方手势交互文档

直接添加脚本即可：

Bounding Box.cs（物体边界控制点，单手控制缩放和旋转）

Interactable.cs（Bounding Box必要交互脚本）

想要手和物体本身直接交互 

Near Interaction Grabbale.cs（手和物体接触直接操作）

Manipulation Handle.cs（手和物体相隔较远，发射射线操作）

5、眼动交互 

查看是否有Windows Mixed Reality Eye Gaze Peovider，没有就创建：

新建一个Data Provider，Type指定为Microsoft.MixedReality.ToolKit.WindowsMixedReality.Input > WindowsMixedRealityEyeGazeDataProvider

克隆DefaultHoloLens2InputSystemProfile和DefaultMixedRealityPointerProfile，勾选开启眼动追踪

实现Unity中模拟，克隆一下 DefaultMixedRealityInputSimulationProfile，设置一下Eye Gaze Simulation模式为Camera Forward Axis

对象按钮添加 EyeTrackingTarget.cs脚本，添加点击事件，里面有很多触发事件选项

就实现了哦

6、语音交互 

如果没有就创建Microsoft.MixedReality.ToolKit.Windows.Input > WindowsSpeechInputProvider

克隆，确定Auto Start

向语音库中添加语音指令 

顺带提一句，这块可以关闭资源界面，就是这个Toggle Profiler，我设置为F10快捷键，点一下就没了

 言归正传

 添加脚本SpeechInputHandler.cs，添加Assets/MRTK/SDK/Features/UX/Prefabs/Tooltips/SpeechConfirmationTooltip预制体

添加语音指令和事件

 实现了哦，我可什么都没干就说了说话

 其它

箭头指引：实现箭头跟随：箭头添加DirectionalIndicator.cs，里面添加需要跟随的物体

物体一直跟随镜头：添加Follow.cs 

物体跟着物体：另一个博客里的跟随脚本

指引线：要有ToolTip.cs和ToolTipConnector.cs