演讲实录 | 平行云LarkXR赋能元宇宙云上新场景

平行云与亚马逊云科技联合举办的"元宇宙云服务分论坛"在线上成功举行。

平行云研发总监杜文军以《LarkXR赋能元宇宙云上新场景》为题，详细介绍了实时云渲染技术和Cloud XR解决方案如何帮助元宇宙应用快速上云，并分享了平行云LarkXR目前已经赋能的元宇宙场景和多个典型案例。现将演讲内容整理如下，以供读者飨食。

---

LarkXR

在元宇宙场景的应用

在开始介绍LarkXR前，我们来回顾一下20年里数字媒体形态演变历程。

2G时代的媒体形式主要以文字为主，3G时代以图片为主，4G开始进入了音视频时代，而5G时代来临，也预示着下一个媒体形态的变革。

5G时代的媒体形态可以看做是“元宇宙”的缩影，从本质上说，当下的很多影视作品、网络游戏都在这个范畴中。元宇宙是将真实世界转换成计算机可以识别的“数字语言”，在此基础上叠加各种XR应用构成的3D化的互联网，可以说，XR就是继文字、图片、音视频之后的下一代数字媒体的形态。

传统的XR应用的运行，对本地设备的配置要求很高，而且时空访问受限。Cloud XR解决方案是XR规模化应用、向大众普及的必由之路。Cloud XR解决方案的基本原理是将消耗大量算力资源的计算转移到云或边缘端，并将实时渲染后的画面通过低延迟高可靠的网络，传输到轻量级的客户端。它借助云端近乎于无限的算力，给终端带来至轻至简的体验，解决了XR应用与高性能专用设备紧耦合的矛盾。终端用户可以不再受限于时间，地点，设备性能等客观条件，随时随地访问XR应用，进入元宇宙的世界。

Cloud XR目前已经成为元宇宙世界的运行底座，而平行云LarkXR是目前市场上应用最广泛的Cloud XR解决方案。LarkXR与传统的单纯的串流软件有所不同，它是一套端到端全链路的云渲染解决方案。

上图所示 ，LarkXR整体可以分成四个部分，其中Athena是负责GPU资源磁化、容器隔离以及GPU的资源调度等相关功能；Hermes是负责网络传输的问题；Apollo主要是解决指令交互以及跨终端访问；而Gaea作为云渲染的PaaS平台，主要是负责整个集群的组网、应用管理与同步、请求调度以及监控管理等相关功能。

---

LarkXR

的技术优势

超大码率，超低延迟

根据XR应用的特点，XR应用上云具有超大码率、超低延迟的技术需求。

LarkXR基于我们平行云自研的QoE动态感知控制算法，可以根据带宽状况动态的调节编码以及发送速率，解决网络拥塞、延迟、丢包等一系列的问题，从而端到端的延迟可以做到40-80毫秒，码率最大支持一百兆，同时支持8k的分辨率。

支持多种终端接入

基于我们底层的Runtime，LarkXR支持泛终端的接入，实现了在同一个平台上同时承载SR、VR、AR等多种类型的XR应用。目前我们支持的客户端有PC、手机、Pad、VR/AR眼镜，甚至更低端的机顶盒设备，兼容了所有的目前主流的这种浏览器，支持微信、小程序以及原生的app等多种终端。尤其是在面向C端的用户场景中，用户客户端碎片化更为严重，如果具备全终端的接入能力，就可以极大的降低了开发的难度，给内容开发方大大降低兼容适配的成本。

快速部署、开箱即用

LarkXR作为一个云渲染PaaS平台，支持分布式高可用。LarkXR可以根据不同的应用场景，提供极简的部署方案，可以做到快速部署，开箱即用。通常只需要将LarkXR的程序包下载后，解压到服务器上，简单的配置ip就可以完成部署，如果没有特殊需求，对应用开发过程可以做到0侵入，不改变原有的开发模式，开发完成后只需将开发后的程序包在LarkXR平台上上传一次即可，平台支持集群内各个节点之间的应用自动同步，免去开发人员在每一个节点上的部署工作，大大减少了运维部署的工作量。

跨引擎兼容

LarkXR底层兼容了不同类型的三维引擎开发的应用，UnReal、Unity3D、Unigine、CryEngine、OSG等多种主流的三维引擎开发的应用都可以在同一个平台上运行。

---

LarkXR

的应用案例

典型场景1：

短时高并发的大型元宇宙活动

今年以来，越来越多的企业利用XR应用构建元宇宙中的互动营销场景，为品牌的宣传导流。为了能够让C端的用户方便快捷地接入元宇宙，Cloud XR成为必不可少的一环。

元宇宙演唱会的形式在今年非常火爆。以阿里妈妈的“曼塔沃斯”为例 ，邀请了多位艺人参与演出，观众可以通过终端设备进入元宇宙空间，并在虚拟空间和现实空间的来回穿梭。“曼塔沃斯”实现了近万人次同时参与，观众分布在全国各地，主要分为vip用户和普通用户，两种用户在逻辑功能以及品质保障上有些许的不同。

LarkXR部署采用了华北、华东、华南多个可用区进行边缘化部署。通过智能调度及分组管理策略会将不同的用户渲染请求分配到相应的组内，同时让不同地区的用户就近分配渲染资源，让用户有最低的端到端的延迟，从而实现最佳的观赏体验。

对于活动这种短时高并发的云渲染场景，如果1个节点只运行一个应用，上万个GPU节点对于云厂商来说压力非常大的，而且1:1的硬件配比的在很多场景下其实也是资源浪费的。那么有没有一种解决方案，可以在一个系统上面，甚至是一个卡上面共享，运行多个用户的这种图形应用，来提高这种资源的利用率呢？

针对这样的场景，大家普遍的想法是虚拟化，虚拟化虽然可以提高GPU的资源利用率，但虚拟化本身也是有性能损耗的，并且还衍生了虚拟化和Vgpu授权的费用问题，最重要的是，虚拟化是一种静态的资源分配，需要将gpu资源提前进行切片，即使没有应用在运行，也无法再分给其他用户使用。

LarkXR底层架构提供了gpu资源池化管理能力，可以通过拦截图形处理接口，对gpu的使用进行动态分配，并对上层应用进行进程级的隔离，给应用提供一个容器化的环境进行独立的运行。从而做到在高密度的gpu上，支持一机多卡，一卡多应用的共享模式，实现对gpu资源的超细粒度分配，提高了资源利用率。

另外，在短时高并发的场景下，云厂商在同一个区域同一种卡型也很难满足大规模的应用。LarkXR具有底层异构、上层同构的特性，会根据不同的卡型分配不同数量的用户请求，可以为大规模应用提供了更多的选择。

典型场景2：

需要大量算力驱动的超写实数字人

数字人是构成元宇宙世界的重要的元素，相比于偶像型数字人，功能型的数字人需要更多的算力和ai能力来实现驱动运行。尤其是超写实智能数字人，对于算力的要求就更高了。22年上半年，平行云上线了第一位超写实数字人员工Judy，从平行云的官网就可以看到。朱迪无论是从皮肤到毛发都非常的精细逼真，可以和用户进行语音交流。

以往，Judy这种超写实数字人基本上是不可能在手机上运行，她对终端的算力要求非常高。现在，LarkXR就可以助力数字人场景突破这种终端算力的极限，为数字人提供方便快捷的AI接入能力。

典型场景3：

通过泛终端接入能力打造“极简”虚拟直播

近几年，基于数字人的虚拟直播也是相当火热。虚拟直播是将二次元文化、直播、数字人三者相结合的产物，得到了广大互联网用户的青睐。

虚拟直播场景的客户端通常采用麦克风来采集主播的音频，利用摄像头采集视频，以实现数字人的驱动，这对终端算力的需求是极高的，往往需要在专用设备上进行，大大限制了主播时空条件和产能。在这种场景下，采用LarkXR解决方案，不仅可以通过云端充沛的算力来降低客户端的需求，同时也能帮助主播摆脱时空限制，释放更多产能。

在实现虚拟直播的过程中，有一个大家普遍比较关心的技术问题，就是云端的应用如何能够获取到客户端（麦克风或者是摄像头)设备。

LarkXR提供了客户端音视频设备透传的能力，可以将客户端设备采集的音视频实时的发给云端的应用，而这个过程对云端的应用来说是透明、感知不到的。应用本身不需要做额外的处理，发布到LarkXR平台后可以像在本地一样直接运行。与此同时，LarkXR可以通过服务端直接将应用推流到流媒体的服务器上，这样主播就不再需要设置复杂的推流软件流程，可以随时随地地进行虚拟直播了。

典型场景4：

打通“数据通道”，支持元宇宙展厅数据沉淀

受这两年受疫情防控的影响，传统的展览展会行业受到了极大的冲击，元宇宙展厅这种新场景得到了关注和广泛应用。

平行云LarkXR服务了这个领域多个企业和案例，举个例子，2022东方美谷的国际化妆品大会正式开始上线，采用了LarkXR解决方案实现元宇宙展厅的上线和传播。东方美谷展厅汇聚了国内的化妆品知名企业，真实地还原了线下的展会形态，让参展的企业可以在原宇宙空间中进行新产品的宣传和客户的交流。

在元宇宙展厅场景对“数据通道”的打通特殊的需求。用户需要在展厅中自由的去参观、逛店、交流，这个过程中会产生很多有价值的数据，比如说关注时间的长短，互动的次数等。这些数据在传统展会场景中是非常珍贵且难以获得的，但在元宇宙的场景当中，三维应用就可以帮助展商采集这部分数据，而实现这一步，就需要在数据的埋点的过程中接入云端XR应用和web端的传输通道。

平行云LarkXR提供了可以从客户端页面到云端应用之间的双向实时数据通道，以及数据传输服务。用户登录元宇宙展厅后，web端可以把用户的id发送给云端的XR应用，云端XR应用会根据虚拟角色在场景当中的一些交互，实时地把这些交互数据再返回web端，这样web端就完成了埋点数据的采集工作，从而也提高了XR应用的开发效率，实现了端云一体化的开发。数据通道能力在元宇宙的应用场景中使用非常广泛，只要有这种端和云之间的数据通信，都可以采用LarkXR数据通道插件来解决。

典型场景5：

元宇宙会议论坛将“在线”进化为“在场”

近几年，随着元宇宙概念的兴起，各种元宇宙形式的会议论坛越来越多。在这个场景当中，用户需要能够语音交互的，而且在这个场景当中很多都是需要立体音效来增强真实感。接入的客户端也是多种多样，web端、有vr等等，前面提到LarkXR解决方案中提供的设备透传能力和全终端兼容的特性，可以帮助参与者全时段、无障碍的连接到元宇宙空间，降低参与门槛，沉浸式体验“在场”参会的魅力。

平行云LarkXR目前已经成为行业应用最广泛的Cloud XR解决方案之一，致力于帮助XR领域企业级用户及开发者快速搭建XR应用上云通道，使其在各类智能终端上流畅的运行、使用及传播。

至今，平行云在全球范围内已吸引近千家企业用户，数万名独立开发者，产品及解决方案成熟应用于教育培训、数字孪生、医疗健康、虚拟直播、数字人、云活动、云游戏场景，可为企业级客户、生态合作伙伴、开发者提供匹配其不同需求的产品服务模式和交付体验。

LarkXR的应用场景还有很多，生态也在逐渐丰富，从底层的硬件、公有云资源，再到上层的应用开发引擎以及各种类型的终端设备，我们都已经纳入到生态版图当中。平行云致力于成为XR产业的赋能者和世界一流的Cloud XR技术合作伙伴，愿以创新的技术，稳定便捷的产品、丰富的场景生态助力各界伙伴开启通往平行世界的通道！