利用HoloLens2-Unity-ResearchModeStreamer获取Hololens2头盔彩色（以及深度）相机数据流_hololens2 深度图像

一：

1.参考文章Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）_hololens2获取深度图像-CSDN博客

Hololens2开发笔记-Unity项目整合Hololens2研究模式_unity python hololens-CSDN博客

HoloLens2的彩色和深度数据流通过主机获取_从hololens中获取深度画面-CSDN博客

2.原项目：GitCode - 全球开发者的开源社区,开源代码托管平台

3.项目整理：ResearchModeStreamer3：只有彩色以及深度数据流的实验项目

                     ResearchModeStreamer2：自己论文的项目，包含了彩色的数据流以及接收文本数            据、播放音频的版本。

二：Hololens2头盔设置方法

1.在头盔内->设置->更新于安全->开发者选项   其中开启开发者模式

2.通过电脑连接          http://头盔IP地址         在其中开启研究者模式

参考HoloLens 研究模式 - Mixed Reality | Microsoft Learn

使用 Windows 设备门户 - Mixed Reality | Microsoft Learn

三：

1.下载原项目，用VS2019打开

设置

下载Eigen>=3.36,并将其解压缩放在项目目录中，再进入项目->属性页，添加Eigen路径

生成解决方案，找到最终生成的dll

2.创建unity项目    2019.4.40f1c1版本     的3D核心模板  ，创建完成置换切换为UWP

创建对应文件夹，并将之前的dll放在ARM64其中

在Scripts中创建脚本：StreamerHL2。挂载在主相机中

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;
using System.Runtime.InteropServices;//引入了用于与本地DLL进行交互的命名空间。
 
public class StreamerHL2 : MonoBehaviour
{
    [DllImport("HL2RmStreamUnityPlugin", EntryPoint = "Initialize", CallingConvention = CallingConvention.StdCall)]//声明从外部DLL导入函数的属性
    public static extern void InitializeDll(); // 更新的函数入口点 ,声明从外部DLL导入的函数
 
    void Start()
    {
 
        //StartDll();
        InitializeDll();//函数被调用
 
    }
 
    // Update is called once per frame
    void Update()
    {
 
    }
}
 

设置项目的兼容性：勾选
InternetClient, InternetClientServer, PrivateNetworkClientServer, WebCam, SpatialPerception 5个位置

编译unity工程

3.找到生成的文件夹，其中的

修改兼容性

Package 中添加

xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities"

"IgnorableNamespaces"的属性，添加“rescap”字段

Capabilityes添加

<rescap:Capability Name="perceptionSensorsExperimental" />

保存后打开：

4.设置并填入头盔对应的IP地址

点击：远程计算机进行发布

最后用Python脚本在电脑端接收视频