当前位置:   article > 正文

OPPO 全球混合云建设之路丨QCon 演讲实录

oppo云 csdn

2023年2月5-7日,QCon 全球软件开发大会在北京举行。作为全球领先的智能终端科技企业,OPPO 云服务中心高级总监韩建飞受邀出席,并发表了题为《OPPO 全球混合云建设之路》的演讲,与现场开发者共同探讨 OPPO 在混合云领域的探索与实践。

本文为韩建飞老师的现场演讲实录。

1901f8a9cdb510bb9ce3685790a6fe4f.jpeg

大家好,我今天分享的主题是《OPPO全球混合云建设之路》。

众所周知,OPPO是一家智能终端科技企业,我们今天将从用户视角出发,和大家分享OPPO的全球混合云建设和使用经验。

今天的分享会分为三个部分:首先介绍一下为什么OPPO需要混合云,其次我们会分享OPPO混合云的产品建设实践,最后是未来的发展规划。

PART 01

全球化背景下的混合云需求及实施策略

作为一家全球化的企业,OPPO在国内与海外均有业务。为了更好地支撑OPPO全球化的业务布局,混合云应运而生。

dfe81423409606a42f262ea09d4a36a1.jpeg

在去年的OPPO未来科技大会上,OPPO发布了三大技术战略之一的“安第斯智能云”。作为智能终端科技企业,我们做的并非传统意义上的IaaS、PaaS或SaaS。安第斯智能云是服务于个人和家庭开发者的一朵垂直云服务,通过云的能力,让终端变得更加智能。

当前,每个人拥有的终端设备数量日益增长,除了手机之外,还有手表、平板、手环、电视等。通过云赋能智能终端行业产生新的增长点,这是安第斯智能云发布和思考的关键方向。

103e5ea268203324d8e26f929404e7aa.pngdcb5d4c0e2d8b135cf7f90b6d49c446e.jpeg

OPPO在全球有逾5亿用户,如何在全球范围内更好地为5亿用户提供技术支持,也是安第斯智能云落地的重要原因。简单介绍一下OPPO的业务,包括商店、主题、游戏、浏览器、视频、锁屏、家居等等,主要以互联网业务为主。OPPO的业务形态多种多样,这些业务可能只提供给部分国家或地区,里面会涉及到安全隐私合规等,这些特征与OPPO混合云策略息息相关。

 12ed5bf654ec2719be426788c8269415.pngb3ec3f255cd62552bfae3a8e5b989f7c.jpeg

除此之外,我们还服务于IoT与终端,比如手环、手表、电视等,OPPO也有自己的芯片业务,同时也为手机提供服务。OPPO底层的网络、性能、多媒体、AR相关的业务,以及前端、后端、验证、算法、系统编译等芯片业务,甚至是IT的业务系统,都是在OPPO全球混合云上运行的。这是我们的业务场景。

 3844efac0dea9e94621b1a4da86ed88d.png4cd3c15df39030f59dd92dfeb1f8d80c.jpeg

为什么OPPO要依赖于混合云呢?从目前的情况看,国内的基础设施建设可以说是相当不错,但是在海外一些国家或地区,存在着很多的业务不确定性,我们着重考虑的点包括:

1、从智能终端科技企业的角度出发,边缘云是5G时代比较关键的竞争因素。

2、我们不可能在全部国家或地区自建基础设施,建机房、服务器,搞网络,总体来说投入太大。在海外有一些较小的业务,可以依托公有云的能力快速扩容和全球化。

3、在国内的情况下,私有云是成本和核心技术的保障。

4、OPPO混合云拥有统一的调度和多云管理能力。

5、安全隐私合规相关,很多互联网公司都提出海,在出海中更多是安全隐私合规的相关问题。

基于以上5点考虑,OPPO混合云具有如下关键要素:

1、全球发布体验一致的云。

2、基于多云管理的云,在云上构建一套技术架构和基础设施。

这是OPPO混合云的目标:“晚于战略,先于业务”。什么是晚于战略呢?如果公司决定开拓海外市场,战略定下来之后我们就要开始行动。先于业务,就是在业务开始部署前,我们的云在那边已经准备好了。

 ce23f38dd851ba7df1a07689eadd0885.pnge3c69303496db4d1804d2a173ca6b5fe.jpeg

在OPPO混合云策略设计之初,我们希望可以做到:统一管理;安全合规;一致体验;统一架构;敏捷灵活。

第一,统一管理。一是一个云管理多套异构的云资源,不管是AWS、GCP、Azure或者是阿里、腾讯以及华为等诸多的云厂商,我们可以通过统一的管理界面管理异构的资源。二是实现公有云无缝切换,迁移成本逐步降低。这里主要指的是计算和存储之间的网络,以及存储本身的迁移,对于我们来说是有一定成本的。三是达到海外资源负载阶段性高达37%。我们需要尽可能地提升公有云的资源利用效率。海外的公有云如AWS成本较高,降本增效是我们的主要目标。

第二,敏捷灵活,一是主要利用公有云按秒级弹性计费的特点,弹性地使用公有云的资源;二是支撑大规模临时紧急的需求,如电商业务等,需要紧急快速扩容;三是海外快速开服,这个时间基本控制在一周之内,公司决定在哪个国家或地区扩展业务,我们就在哪个国家或地区相应的区域快速扩容;四是无关的基础设施交付周期,对于业务来说就是管好业务逻辑,我们提供已执行的体验;五是和公有云的合作,在国内常规的算力是自建的IDC,负载基本能达到80%-90%,自建机房的成本相对较低,尤其是AI对GPU的要求比较高,就将一些灵活的算力转移到公有云上。

第三,统一架构,就是混合云的基础架构一致。我们统计了一下手机版本不同的手机型号、不同的国家或地区、不同的配置,这样一个版本整体的软件包大概有一万多个版本。这一万多个版本需要考虑到云的复杂度,比如阿里云和腾讯云的区别,腾讯云和AWS的区别,AWS和GCP的区别,对业务来说,如果以上版本的复杂度乘以公有云的复杂度,再加上语言的复杂度将是一个巨大的需求,我们的把目标是整个技术架构的一致性。

第四,一致体验。统一是架构交付,一致的业务使用体验和平台透明,降低技术的存在感。

第五,安全合规,安全合规隐私日益受到大家的关注,作为智能终端科技企业,我们必须保证安全合规,比如欧洲的GDPR要求核心的数据只能在本地保存,因而在混合云的建设过程中,尤其需要关注安全合规。

PART 02

OPPO 混合云产品建设实践

3f216e9666c90e878b9f7d6f9ed11ceb.jpeg

b09e2c181523d16118f7a3522e60ed38.jpeg

049c563ab900dea2f8a9725421596994.png7c7c5d5c7478217943e5a3e2006fc2ed.png

这是我们在OPPO智能云(大湾区)数据中心自建的有12万台机器的机房图,底下一层是各个基础设施,往上走是计算、存储、网络这三个IaaS层的组件,再往上是中间件、数据库、安全、答案数据,更上一层是机器学习、数据产品、算法,旁边是运维和安全平台。

在这一过程中,OPPO混合云的中间件、数据库所有能力都是在公有云上做的,我们主要使用公有云的四个产品:

1、ECS,虚拟机

2、EBS,块存储

3、SLB,负载均衡

4、S3,对象存储

81728bfbcbec39371ef2ed201405ea6e.jpeg372a6cf8d2e72f0b95f934642d94e08a.png

这些都是底层的支撑,在此基础上,OPPO构建了基于K8S的混合、编排、调度的一套能力,同时配合网络及存储,在部分场景实现了多租户,并在此上构建整个业务平台和运维管理服务。

值得一提的是,OPPO混合云对K8S做了一些定制。OPPO并非是一个完全的互联网公司,还有许多传统IT的部分,所以我们同时支持容器和虚拟机,当前我们所有的组件都是基于K8S来调度的,包括虚拟机。下面一层是GPU、NPU,近期我们还自研了基于云原生的GPU虚拟化,上一层是K8S的版本,最上面的部分,一边是容器,一边是虚拟机,虚拟机之上还可以再部署容器。如果业务强要求合理,或是强安全性,我们在虚拟机里面跑,如果是一些内部的业务,我们可能就直接在裸机上跑K8S了。

总的来说,我们所有的应用都是在容器之内的,包括大数据的Spark和Flink、中间件、数据库,包括应用网关都是运行在K8S之上的。从我们的使用角度来说,一是使用单一的云厂商容易被绑架,二是各家的云产品也有多样性,太复杂了。

面向第一点,如果平台可以实现多云管理,云上的许多产品包括网关、负载、计算、云原生产品等都是可以自由使用的,但是一旦熟悉了某个云厂商的产品,用户习惯是很难改变的,只能基于基础能力构建一套在公司内部统一的平台,不管底层是AWS还是阿里云,开发者用的都是你的平台,和底层公有云没有太大关联。这一布局和出海业务也有比较大的关联,公有云厂商也并非在各个地方都有布局,如何保障出海基础设施的完备性,就需要基于K8S进行统一管理。

 007ed3862efadc8fa6fb20333c4bcb62.png7632e00947b76a2964a378e119b236d8.jpeg

这是OPPO混合云的弹性架构,底层架构和先前一致,包括IDC和公有云,上层是基础网络,计算和网络。上层有一个整体弹性伸缩的框架,这个框架并非仅限于在一个K8S集群内部的弹性伸缩,还包括在自建机房和公有云、公有云和公有云之间的弹性伸缩,当中需要配合的是存储迁移工具和同步工具,以保障整个弹性伸缩框架的一致。

第一,编译云、EDA云和仿真云这三个场景,我们在内部叫HPC,当中还包括机器学习的训练等,对机器的主频和规格要求比较高,所以我们可以做弹性伸缩。

第二,传统的互联网业务。

第三,机器学习,Notebook、Kubeflow等。

第四,大数据,我们做了spark-operator、YARN-operator、flink-operator、trino-operator,将YARN跑在K8S上,再通过YARN来调度整个大数据。

第五,运维平台。

c66c468eb25a566de48536fe352ecec6.png24a61e7eb9554f9edb09431ccd4edce8.jpeg

刚才我们讲到了敏捷弹性、弹性扩容。在线业务、大数据、机器学习和高性能学习四个场景,通过弹性伸缩,我们将内部无法支撑的算力调度到公有云上,好处是可以快速交付业务需求,其次是购买流程的服务较长,对于公有云厂商来说可以相互竞争,对业务而言可以实现无感交接,并在业务交付上尽量压缩周期。

600e8e188e34e4530a7f36a6be9c1dcf.jpeg

135c8bc50d92298d4bd1c58f3b220874.png

这是资源弹性伸缩小的框架,主要分为几个单元:

1、数据源。

2、触发单位,如何触发弹性伸缩。

3、计算单元,我们需要过滤掉一些指标,怎么弹性缩容,怎么弹性扩容,里面有许多坑,扩容比较好理解,但是缩容需要十分谨慎,我们会设置上限、下限等常规操作。

4、伸缩单元,垂直伸缩是基于事件还是基于故障,最终达到的就是资源的弹性交付。

c6b94857d6c96df66166094060617a17.png9417773133cba7e243e2374ff6938bc2.jpeg

这是公私一体的混合网络架构,为了适配各种公有云厂商和自建机房,我们内部自研了一个叫做“NetHouse”的产品,除了没有开源之外,支持IP、Ingress、VLAN等,直播场景内部使用得较少,暂时不支持,我们会把IP分配的性能提得比较高。

基础网络和虚拟化网络有很多需要相互配合的工作,包括基础网络和VPC网络等,提供公私一体的混合网络架构,打通网络是后续工作开展的前提。

33a44fbdc12b9cd48a549be560ac6146.pnga64eef8807c0bdeaca5f02aacf91ece0.jpeg

一致构建,全球分发。当前我们业务的构建主要是在国内,在这一部分我们做得相对简单,通过CDN或是cache的方式同步到海外的各个业务地区,和各个公有云专线打通,再从各个公有云内部的专线将数据同步到全球各个地区。

0ed59dad6a753510c431c12177e8e393.pngde28b5c265cf75d3b0dbc9e8f153597d.jpeg

一致的可观测能力,基本上是日志和时序数据两个可观测点,区别在于受地缘政治和安全隐私的影响,如应欧洲GDPR的要求,个人隐私数据不能传回国内。从整体上看,我们的控制还是统一的,但在访问欧洲区域时,日志默认是无法查看的,只有从欧洲区域访问才能打开。

对于业务来说,无需关注是自建机房还是公有云,很多用户用公有云查询,有公有云的一套监控体系,我们基本都在这上面重建了,将时序数据库和日志服务,通过块存储和虚拟机的能力,或是通过S3的能力重新构建,基本上可以满足整体的需求。对接监控的需求可以做到比较好的、一体化的感觉,无论你位于那个区域,上层业务的开发人员对于堡垒机的体验也是一致的,对日志、时序数据监控发展的持续调用和可观测用户体感都是完全一致的。

b20bc12a20e5c0a5e259a033dc5147b8.jpeg

15f7caa2b8cb6b23dc61778bd6549773.png

GPU也就是所谓的机器学习平台也是一样的,公有云只管底层的IaaS资源,我们构建了统一的StarFire机器学习平台,它会将KubeDL、Kubeflow、Volcano或者是底层的K8S都管理起来。除此之外,我们还做了mGPU虚拟化的产品,使得整个机器学习的Serving或Training服务对接公有云基本上是一致的。

23960ec4372e74fe81f08fdc0c82259f.jpeg

ed56e8ededd51f940858f4a2cb61fcd9.png

不管是自建云还是公有云,协议接口均需要保持一致。基于K8S本身是一致的,有各种Service文件,机器学习整个行业中存储的接口,对象存储和SI也对齐了,基本语法都是差不多的。

在负载均衡的层面,我们实现了公有云的SLB对接服务,在内部我们通过DPDK LB搭建了负载均衡体系,将负载均衡的创建、域名解析的创建,包括整个容器网络的块存储、对象存储和时序数据库、KV在公有云和私有云的差别,主要在于一个是DPDK,一个是kube-proxy,但是语法是统一的。基于此,业务对于公有云和私有云的体验可以保持一致。

5cb65e6282186973bdddfd9e87b662c9.jpeg

15c9f8bd4aeab9cc11e74ddaa946691c.png

这是统一的平台入口。对于业务来说,K8S还是相对复杂,他们更多关注的是业务逻辑,所以我们搭建了一个控制平台,里面包括持续交付、弹性计算、数据库。对于业务来说,在控制台中可以选择公有云区域或自建机房区域,在业务选择区域后,部署将在这一平台上进行,除此之外,我们还提供快速的配置、迁移,除了语言包不一致,其它业务的快速配置迁移也提供同步工具,使得在不同国家或地区的配置可以快速迁移过去。

在安全隐私方面,我们采取一刀切的政策。对于业务而言,他们无需特别关注GDPR或是安全隐私方面的事情,平台会进行集中处理。

PART 03

OPPO 混合云后续规划

OPPO混合云发展到目前的阶段,在内部基建的层面已经完善得差不多了,在这一平台上,大概已经有100多个产品。那么对于我们而言,下一步应该做什么?在这里,我想从用户的视角,分析OPPO混合云可以做哪些事情。

12c866681644e6f6d8de0b2ff5c92d6f.jpeg

4eb1df998306f2217d45e5f44cba1e60.png

OPPO用云的时间相比于业内较晚,从2019年到2023年,OPPO混合云一共经历了几个发展阶段:

1、应用容器化,自动化部署和平台管理,最初是物理机,后续我们使用了比较多的策略,将原来的平台部署到容器上。

2、可扩展性,迁移到容器上之后,整体的可扩展能力较先前有所提升。

3、在实现可扩展性之后,我们开始打造容错性和弹性伸缩,打通从网关到后端服务到数据库,实现某段挂了之后自动摘除,数据库权限自动打通。

4、微服务架构的智能运维。

从业务上云到混合云建设,再到生态构建,在过往的两到三年间,互联网行业蓬勃发展,我再简单介绍下,从云原生或是混合云角度,应当如何切入传统行业。

第一个场景,以芯片行业、仿真行业为例,它涉及很多前端、后端设计,如果用云端能力或是统一技术架构能力,如何为它提供较好的使用场景。为此,我们落地了一个名为EDA芯片云的项目,主要满足在芯片投产前弹性算力的需求,充分调度资源,优化整个平台的CPU、内存的使用比例,降低公司成本。

在编译和芯片领域,我们也曾尝试K8S、容器化的方式,但这条路是尝试了一下走不通。本质上来说,在互联网行业很多项目是开源的,它天然是云原生的,但是在传统行业,许多工具无法通过K8S解决,只能从虚拟化的角度解决。

先前我提到,很多公司是从虚拟化到容器,我们是从容器到虚拟化,是先做了容器,再回头看发现一些场景并不适用,虚拟化的效果更好一些,进行反向尝试,从而构建OPPO混合云的整体生态。

第二个场景是万物互融,OPPO作为一家智能终端科技企业,我们想做的并不是公有云,而是通过云将万物互融场景下的用户服务好。原先一个人只有一台手机,但后来我们增添了很多设备,家庭里面也有很多设备,设备之间还会牵涉到连接方式。在设备与设备之间的同步和连接,主要通过两种方式落地,一是近场,通过蓝牙或是NFC等方式进行连接,如果你设定了一个出行时间点,在你也需要通知家人的时候,是否可以将这个信息同步到家人的设备上,让他也拥有同样的提醒。二是远场,主要是设备间的数据流转,当近场连接无法直接触达时,我们更多的是从云的角度看到这个问题。主要是通过云为设备间的互融提供比较好的通道和捷径,面向垂直行业提供SaaS解决方案。

5b9a6ca3999ffada2d6701cb6d8658f1.pngb84420a317d9835381918ca8e6ac481e.jpeg

后续我们还会做几个方向的尝试:

第一,端云协同的存储体验。

第二,端云协同的机器学习平台,在使用机器学习时,用户主要考虑的是算力问题,我们和影像以及AI的用户沟通实发现,他们更多考虑的是模型裁剪的问题,端侧的算力无法满足当前的需求,如何通过云端配合使业务场景更优,这是我们的切入点之一。

第三,虚拟现实,设备的发展从传到设备到AR/VR等多种设备,在虚拟现实的领域,算力也是受限的,需要在云端有强大的算力来支持,比如云游戏,在这一领域,我们也希望让终端更智能的战略,使云发挥更多垂直领域的作用。

这是我今天的分享,感谢大家的聆听!

END

About AndesBrain

安第斯智能云

OPPO 安第斯智能云(AndesBrain)是服务个人、家庭与开发者的泛终端智能云,致力于“让终端更智能”。作为 OPPO 三大核心技术之一,安第斯智能云提供端云协同的数据存储与智能计算服务,是万物互融的“数智大脑”。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/858419
推荐阅读
相关标签
  

闽ICP备14008679号